1.获取数据集
housing.data
下载后可看到数据的间隔并不统一,需要进行处理
2.数据的解析
使用正则表达将数据储存到data中
import re
import numpy as np
file = open("housing.data").readlines()
data = []
for item in file:
out = re.sub(r"\s{2,}", " ", item).strip()
data.append(out.split())
data = np.array(data).astype(float) #转化为array便于处理
获取data中一行长度,和数据的多少
print(len(data[0]))
print(len(data))
# 14
# 506
每一行数据都有14个数,其中前13个为房子的特征x,用来决定y,所以以此将x与y分离
x = data[:, 0: -1]
y = data[:, -1]
为了数据的检测训练效果,我们将部分数据作为测试集,其余为训练集
x_train = x[0:486, ...]
y_train = y[0:486, ...]
x_test = x[486:, ...]
y_test = y[486:, ...]
# 转化为torch可处理的类型
x_data = torch.tensor(x_train, dtype=torch.float32)
y_data = torch.tensor(y_train, dtype=torch.float32)
x_test_data = torch.tensor(x_test, dtype=torch.float32)
y_test_data = torch.tensor(y_test, dtype=torch.float32)
3.net创建
此处使用bp神经网络训练
net = torch.nn.Sequential(
torch.nn.Linear(13, 13), #隐藏层
torch.nn.ReLU(), #激活函数--将线性转化为非线性
torch.nn.Linear(13, 1) #输出层
)
loss使用方差计算
#loss
loss_func = torch.nn.MSELoss()
- optim
# optim
optim = torch.optim.Adam(net.parameters(), lr=0.0001)
4.开始训练
# training
for i in range(1000):
pred = torch.squeeze(net(x_data))
loss = loss_func(pred, y_data)
optim.zero_grad()
loss.backward()
optim.step()
print(loss)
5.保存训练模型
torch.save(net, 'model.pkl')
6.训练效果的检验
# 载入模型
net1 = torch.load("model.pkl")
# 对测试集进行预测
pred1 = torch.squeeze(net1(x_test_data))
# 计算误差
loss1 = loss_func(pred1, y_test_data)