深度学习day07 处理多维特征的输入

数据处理

X表示糖尿病病人的8个特征，Y表示1年后他们的病情是否会加重
每一行是一个样本，每一列是该样本的一个特征，我们要把这个数据表转化为矩阵类型数据

修改原代码数据准备部分：输入的数据是8维，输出的数据是1维

空间变换

矩阵是一个空间变换的函数，可以将m维空间映射到n维空间上

神经网络的本质上是寻找一种非线性的空间变换函数，通过添加非线性的变换因子——激活函数，使其能够拟合非线性的函数，达到将多维空间降维/升维的目的

变换的纬度和隐藏层的层数决定了神经网络的复杂程度，但是具体的这里面的值取什么，需要用到超参数搜索，不一定是层数越多越好，一般来说，层数越多学习能力越强，但是这样会把本不属于样本的噪声学习到，所以学习能力太强也不好，要具有对真值的泛化学习能力。

该神经网络共3层；第一层是8维到6维的非线性空间变换，第二层是6维到4维的非线性空间变换，第三层是4维到1维的非线性空间变换。

代码讲解

1. 准备数据
   
   2.定义模型
   
   3.构造损失函数和优化器
   
2. 训练循环，注意这里没有用小批量学习
   
   还有一些其他的激活函数可以试试
   

附代码

import numpy as np
import torch
import matplotlib.pyplot as plt

# 步骤一：prepare dataset
xy = np.loadtxt('diabetes.csv', delimiter=',', dtype=np.float32)
x_data = torch.from_numpy(xy[:, :-1])  # 第一个‘：’是指读取所有行，第二个‘：’是指从第一列开始，最后一列不要
y_data = torch.from_numpy(xy[:, [-1]])  # [-1] 最后得到的是个矩阵


# 步骤二：design model using class


class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8, 6)  # 输入数据x的特征是8维，x有8个特征
        self.linear2 = torch.nn.Linear(6, 4)
        self.linear3 = torch.nn.Linear(4, 1)
        self.sigmoid = torch.nn.Sigmoid()  # 将其看作是网络的一层，而不是简单的函数使用

    def forward(self, x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))  # y hat
        return x


model = Model()

# 步骤三：construct loss and optimizer
# criterion = torch.nn.BCELoss(size_average = True)
criterion = torch.nn.BCELoss(reduction='mean')
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

epoch_list = []
loss_list = []

# 步骤四：training cycle forward, backward, update
for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())
    epoch_list.append(epoch)
    loss_list.append(loss.item())

    optimizer.zero_grad()
    loss.backward()

    optimizer.step()

plt.plot(epoch_list, loss_list)
plt.ylabel('loss')
plt.xlabel('epoch')
plt.show()

如果想查看某些层的参数，以神经网络的第一层参数为例，可按照以下方法进行。

# 参数说明
# 第一层的参数：
layer1_weight = model.linear1.weight.data
layer1_bias = model.linear1.bias.data
print("layer1_weight", layer1_weight)
print("layer1_weight.shape", layer1_weight.shape)
print("layer1_bias", layer1_bias)
print("layer1_bias.shape", layer1_bias.shape)