Lecture7 处理多维特征的输入(Multiple Dimension Input)

以实际代码出发，逐行讲解。

完整代码：

import numpy as np
import torch
import matplotlib.pyplot as plt

# load data
xy = np.loadtxt('C:\\Users\\14185\\Desktop\\diabetes.csv', delimiter=',', dtype=np.float32)
x_data = torch.from_numpy(xy[:, :-1])
y_data = torch.from_numpy(xy[:, [-1]])

# define model
class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8, 6)
        self.linear2 = torch.nn.Linear(6, 4)
        self.linear3 = torch.nn.Linear(4, 1)
        self.sigmoid = torch.nn.Sigmoid()

    def forward(self, x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x

model = Model()

# define loss function and optimizer
criterion = torch.nn.BCELoss(size_average=True)
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

# define list to store losses
losses = []

# train model
for epoch in range(10000):
    # Forward
    y_pred = model(x_data) # 注意这里没有使用小批量数据集，在后面的课程会讲解如何加载数据集
    loss = criterion(y_pred, y_data)
    losses.append(loss.item())
    # Backward
    optimizer.zero_grad()
    loss.backward()
    # Update
    optimizer.step()

# plot losses
plt.plot(range(len(losses)), losses)
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.show()

标题

首先准备数据集

标题

将 CSV 文件中的数据加载到 PyTorch 张量中，以便进行深度学习模型的训练和评估。

xy = np.loadtxt('diabetes.csv', delimiter=',', dtype=np.float32) # 一般GPU只支持32位浮点数
x_data = torch.from_numpy(xy[:,:-1])
y_data = torch.from_numpy(xy[:, [-1]])

1. x_data = torch.from_numpy(xy[:, :-1]) 这一行代码将 NumPy 数组 xy 的所有行和除最后一列之外的所有列转换为 PyTorch 张量 x_data。这个张量包含了输入特征的数据。

2. y_data = torch.from_numpy(xy[:, [-1]]) 这一行代码将 NumPy 数组 xy 的所有行和最后一列转换为 PyTorch 张量 y_data。这个张量包含了输出标签的数据。

class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8, 6)
        self.linear2 = torch.nn.Linear(6, 4)
        self.linear3 = torch.nn.Linear(4, 1)
        self.sigmoid = torch.nn.Sigmoid()

    def forward(self, x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x

model = Model()

1. self.linear1 = torch.nn.Linear(8, 6) : 这一行代码定义了一个全连接层（也称为线性层），该层有 8 个输入节点和 6 个输出节点。这个层将数据从输入层传递到隐藏层。

2. self.linear2 = torch.nn.Linear(6, 4) : 这一行代码定义了第二个全连接层，该层有 6 个输入节点和 4 个输出节点。这个层将数据从第一个隐藏层传递到第二个隐藏层。

3. self.linear3 = torch.nn.Linear(4, 1) : 这一行代码定义了第三个全连接层，该层有 4 个输入节点和 1 个输出节点。这个层将数据从第二个隐藏层传递到输出层。

4. self.sigmoid = torch.nn.Sigmoid() : 这一行代码定义了一个 Sigmoid 激活函数，将在模型的前向传播中使用。

5. def forward(self, x): : 这一行代码定义了模型的前向传播函数。这个函数将输入数据 x 作为参数，将数据从输入层传递到输出层。

6. x = self.sigmoid(self.linear1(x)) : 这一行代码将输入数据 x 传递到第一个全连接层，并将其输出通过 Sigmoid 激活函数进行处理。

7. x = self.sigmoid(self.linear2(x)) : 这一行代码将第一个全连接层的输出传递到第二个全连接层，并将其输出通过 Sigmoid 激活函数进行处理。

8. x = self.sigmoid(self.linear3(x)) : 这一行代码将第二个全连接层的输出传递到输出层，并将其输出通过 Sigmoid 激活函数进行处理。

标题

为什么对每层都应用一个sigmoid？

criterion = torch.nn.BCELoss(size_average=True)
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

1. criterion = torch.nn.BCELoss(size_average=True): 创建二元交叉熵损失函数。该损失函数通常用于二元分类问题，计算模型预测值与真实标签之间的差异，可以用于指导模型参数的更新。 size_average=True 意味着对每个样本的损失值取平均值，并将其用于计算模型的总体损失值。

2. optimizer = torch.optim.SGD(model.parameters(), lr=0.1): 创建随机梯度下降（SGD）优化器。该优化器通常用于训练神经网络，根据损失函数计算的梯度更新网络中的参数。model.parameters() 是将所有神经网络中可训练的参数（权重和偏置）作为输入传递给优化器，以便更新它们。lr=0.1 表示优化器的学习率为 0.1，它控制了每次更新参数的步长，也影响了模型的训练速度和性能。

逻辑斯蒂模型的变化

预测目标使用的 含多维特征的数据集——糖尿病数据集（sklearn中 其实也有类似的糖尿病数据集）：每个样本/记录（sample/record）有8个维度的信息（feature），并以此进行二分类。Y表示一年后 糖尿病 病情是否加重。