P7 处理多维特征的输入_p7 2 多特征预测结果-CSDN博客

本文链接：https://blog.csdn.net/qq_40797283/article/details/121526598

教程来源b站刘二《pytorch深度学习实战》

乘的权重(w)都一样，加的偏置(b)也一样。b变成矩阵时使用广播机制。神经网络的参数w和b是网络需要学习的，其他是已知的。
学习能力越强，有可能会把输入样本中噪声的规律也学到。我们要学习数据本身真实数据的规律，学习能力要有泛化能力。
该神经网络共3层；第一层是8维到6维的非线性空间变换，第二层是6维到4维的非线性空间变换，第三层是4维到1维的非线性空间变换。
本算法中torch.nn.Sigmoid() # 将其看作是网络的一层，而不是简单的函数使用

代码实现糖尿病数据的二分类

import numpy as np 
import torch
import matplotlib.pyplot as plt

# prepare  dataset
xy = np.loadtxt('diabetes.csv', delimiter = ',', dtype = np.float32)
# 第一个‘：’是指读取所有行，第二个‘：’是指从第一列开始，最后一列不要
x_data = torch.from_numpy(xy[:, :-1])
# [-1] 最后得到的是个矩阵
y_data = torch.from_numpy(xy[:, [-1]])

# design model using class
class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8, 6) # 输入数据x的特征是8维，x有8个特征,输出为6维
        self.linear2 = torch.nn.Linear(6, 4)
        self.linear3 = torch.nn.Linear(4, 1)
        self.sigmoid = torch.nn.Sigmoid() # 将其看作是网络的一层，而不是简单的函数使用

    def forward(self, x): # 构建一个计算图
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x)) # 将上面一行的输出作为输入
        x = self.sigmoid(self.linear3(x))
        return x 
model = Model()

# construct loss and optimizer
criterion = torch.nn.BCELoss(reduction = 'mean')
optimizer = torch.optim.SGD(model.parameters(), lr = 0.1)

epoch_list = []
loss_list = []
# training cycle forward, backward, update
for epoch in range(1000000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    #print(epoch, loss.item())
    epoch_list.append(epoch)
    loss_list.append(loss)

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

    # 输出准确率acc为评价指标
    if epoch % 10000 == 0:
        # torch.where(condition，a，b)其中,输入参数condition：条件限制，如果满足条件，则选择a，否则选择b作为输出。
        y_pred_label = torch.where(y_pred>=0.5, torch.tensor([1.0]), torch.tensor([0.0]))
        # 计算正确的数量
        acc = torch.eq(y_pred_label, y_data).sum().item()/y_data.size(0)
        print("epoch = ", epoch, "loss = ", loss.item(), "acc = ", acc)

# 可视化
# plt.plot(epoch_list, loss_list)
# plt.ylabel('loss')
# plt.xlabel('epoch')
# plt.show()

# 如果要查看网络的参数可以进行以下打印
# 参数说明
# 例如第一层的参数：
# layer1_weight = model.linear1.weight.data
# layer1_bias = model.linear1.bias.data
# print("layer1_weight", layer1_weight)
# print("layer1_weight.shape", layer1_weight.shape)
# print("layer1_bias", layer1_bias)
# print("layer1_bias.shape", layer1_bias.shape)

运行结果：使用SGD，学习率为0.1,在训练100w次后,loss会下降到0.3左右。准确率可以达到87%

这个训练100w次才得到这个结果并不尽人意，因此考虑使用其他优化器，使用了Adam

optimizer = torch.optim.Adam(model.parameters(),
                lr=0.001,
                betas=(0.9, 0.999),
                eps=1e-08,
                weight_decay=0,
                amsgrad=False)

最后结果有所提升，仅15w次，loss可降到0.25，acc到达了90%