006_wz_ledr_pytorch深度学习实战_第七讲——处理多维特征的输入

一、目的

处理一个数据的多维特征输入

二、编程

当一个数据具有多维特征时，我们要将其向量化才得以一次处理多个特征

1、乘的权重(w)都一样，加的偏置(b)也一样。b变成矩阵时使用广播机制。神经网络的参数w和b是网络需要学习的，其他是已知的。
2、学习能力越强，有可能会把输入样本中噪声的规律也学到。我们要学习数据本身真实数据的规律，学习能力要有泛化能力。
3、该神经网络共3层；第一层是8维到6维的非线性空间变换，第二层是6维到4维的非线性空间变换，第三层是4维到1维的非线性空间变换。我们在前两层使用relu激活，最后一层使用sigmoid激活。

4、本算法中torch.nn.Sigmoid() ，将其看作是网络的一层，而不是简单的函数使用
下面是具体代码实现：

import numpy as np
import torch
import matplotlib.pyplot as plt

# 加载训练集
xy = np.loadtxt("diabetes.csv.gz", delimiter=",", dtype=np.float32)
# 取除了最后一列的所有列
x_data = torch.from_numpy(xy[:, :-1])
# 取最后一列
y_data = torch.from_numpy((xy[:, [-1]]))

# 构造模型
class Model(torch.nn.Module):
    # 构造函数
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8, 6)  # 8维到6维
        self.linear2 = torch.nn.Linear(6, 4)  # 6维到4维
        self.linear3 = torch.nn.Linear(4, 1)  # 4维到1维
        self.sigmoid = torch.nn.Sigmoid()  # sigmoid无权重需要更新，故2层神经网络只需一个sigmoid层
        self.relu = torch.nn.ReLU()

    # 构建一个计算图
    def forward(self, x):
        x = self.relu(self.linear1(x))
        x = self.relu(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x


# 实例化模型
model = Model()

criterion = torch.nn.BCELoss(reduction="mean")
optimizer = torch.optim.SGD(model.parameters(), lr=0.2)


costs_list = []
epoch_list = []
# 开始训练
for epoch in range(2500):
    # 正向传播
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print("epach=", epoch, "loss=", loss.item())
    epoch_list.append(epoch)
    costs_list.append(loss.item())
    # 反向传播
    optimizer.zero_grad()
    loss.backward()
    # 更新参数
    optimizer.step()

plt.plot(epoch_list, costs_list)
plt.xlabel("epoch")
plt.ylabel("cost")
plt.show()

结果：

epach= 0 loss= 0.8240426182746887
epach= 1 loss= 0.8114709854125977
epach= 2 loss= 0.7999751567840576
epach= 3 loss= 0.7894270420074463
...
epach= 2497 loss= 0.4559384882450104
epach= 2498 loss= 0.4559420347213745
epach= 2499 loss= 0.4559381604194641

这个损失下降的似乎并不是很理想，当三层均使用sigmoid时，结果更为不理想，是不是训练数据集太过小了，一时间想不出来为什么。

三、参考

python深度学习实践
PyTorch 深度学习实践 第7讲
PyTorch学习（六）–处理多维特征的输入