数据背景介绍
波士顿房价数据集housing.data是统计的20世纪70年代期波士顿郊区房价的中位数,统计了当时犯罪率,房产税等13个指标。本例子属于回归模型的案例,在数据集中包含506个数据,其中划分训练集和测试集分别为496和10。
数据每行的前13个是属性,最后MEDV代表房价(单位1000美元)
在pycharm中打开的数据集
代码
以下是详细包含一个隐藏层的回归模型代码
import torch
#data 解析数据
import numpy as np
import re
ff = open("housing.data").readlines() #读取所有的行形成一个所有行列表,注意后面有s
# print(ff)
data = [] #定义一个data列表,将数据加入其中
for item in ff:
out = re.sub(r"\s{2,}", " ", item).strip() #将多个空格合并成一个并且去掉其中的换行符
#print(out)
data.append(out.split(" ")) #将数据以空格分开并添加到data列表中
data = np.array(data).astype(np.float_) #将数据转换成np矩阵,数据类型为float
#print(data)
print(data.shape)
Y = data[:, -1].reshape(506, 1)
X = data[:, 0:-1].reshape(506, 13)
Y_train = Y[0:496, :]
X_train = X[0:496, :]
Y_test = Y[496:, :]
X_test = X[496:, :]
print(Y_test.shape)
print(X_test.shape)
#net 搭建网络
class Net(torch.nn.Module): #继承nn.Module
def __init__(self, n_feature, n_output):
super(Net, self).__init__()
self.hidden = torch.nn.Linear(n_feature, 100)
self.predict = torch.nn.Linear(100, n_output) #线性回归模型
def forward(self, x):
out = self.hidden(x)
out = torch.relu(out)
out = self.predict(out)
return out
net = Net(13, 1) #初始化网络模型
#loss 定义损失函数
loss_func = torch.nn.MSELoss() #均方损失
#optimiter 优化器
optimizer = torch.optim.Adam(net.parameters(), lr=0.01)
#training 训练模型
for i in range(10000):
x_data = torch.tensor(X_train, dtype=torch.float32)
y_data = torch.tensor(Y_train, dtype=torch.float32)
pred = net.forward(x_data) #计算预测值
loss = loss_func(pred, y_data)*0.001 #计算loss
optimizer.zero_grad() #梯度值为0
loss.backward()
optimizer.step() #网络中的参数进行更新
print("ite:{}, loss_train:{}".format(i, loss))
print(pred[0:10])
print(y_data[0:10])
#test 测试模型
x_data = torch.tensor(X_test, dtype=torch.float32)
y_data = torch.tensor(Y_test, dtype=torch.float32)
pred = net.forward(x_data) #计算预测值
loss_test = loss_func(pred, y_data)*0.001 #计算loss
print("ite:{}, loss_test:{}".format(i, loss))
#保存模型 1.将整个模型保存下来 2.只是将模型参数保存
torch.save(net, "model/model.pkl") #将模型整体保存
# torch.load("") #加载模型
# torch.save(net.state_dict(), "params.pkl")
# net.load_state_dict("") #需要先将模型定义出来,然后再将参数加载出来
将模型保存下来后可以直接对测试集进行预测
import torch
#data 解析数据
import numpy as np
import re
ff = open("housing.data").readlines() #读取所有的行形成一个所有行列表,注意后面有s
# print(ff)
data = [] #定义一个data列表,将数据加入其中
for item in ff:
out = re.sub(r"\s{2,}", " ", item).strip() #将多个空格合并成一个并且去掉其中的换行符
#print(out)
data.append(out.split(" ")) #将数据以空格分开并添加到data列表中
data = np.array(data).astype(np.float_) #将数据转换成np矩阵,数据类型为float
#print(data)
print(data.shape)
Y = data[:, -1].reshape(506, 1)
X = data[:, 0:-1].reshape(506, 13)
Y_train = Y[0:496, :]
X_train = X[0:496, :]
Y_test = Y[496:, :]
X_test = X[496:, :]
print(Y_test.shape)
print(X_test.shape)
#net 搭建网络
class Net(torch.nn.Module): #继承nn.Module
def __init__(self, n_feature, n_output):
super(Net, self).__init__()
self.hidden = torch.nn.Linear(n_feature, 100)
self.predict = torch.nn.Linear(100, n_output) #线性回归模型
def forward(self, x):
out = self.hidden(x)
out = torch.relu(out)
out = self.predict(out)
return out
net = torch.load("model/model.pkl") **#加载模型**
#loss 定义损失函数
loss_func = torch.nn.MSELoss() #均方损失
#test 测试模型
x_data = torch.tensor(X_test, dtype=torch.float32)
y_data = torch.tensor(Y_test, dtype=torch.float32)
pred = net.forward(x_data) #计算预测值
loss_test = loss_func(pred, y_data)*0.001 #计算loss
print("loss_test:{}".format(loss_test))
测试集的损失值大约为9.3