pytorch学习——处理多维特征输入

pytorch学习之处理多维特征输入

之前的数据集是针对学习时间对考试通过率的影响，其特征只有学习时间，是一个一维的特征。
对于多维特征输入，比如各种因素最终对患糖尿病的影响（如图一），这时候为多维特征，多维特征相比于一维特征，其数据处理方式引入了矩阵及向量（如图二），关于x的矩阵中不同行不同组数据，不同列为不同特征，右乘一个参数w，b用广播机制适配前面结果，最后得到的z代入非线性激活函数中。
这样转化成矩阵运算的优点是利用计算机特性，把这种计算转化成并行运算，提高运行效率，很生动的一个例子是如果用for循环去算，肯定要嵌套很多个，那可想而知的慢
图一：

图二：

对应代码改变

1.当然如果要是多维，线性层的输入维数要改变（如图三），这里传入的8和1代表线性层输入8维输出1维，
2.但是考虑到8维到1维的跳动太大，导致深度神经网络并不能很好的学习到数据中的复杂关系和特征，所以会构建多个线性层，维度一层一层的降，最后到一层把一个非线性的问题用多个线性层找到合适权重给模拟出来（如图四），同样这种方法可以防止过拟合

图三：

图四：

具体代码

注：这里前提是要有一个在该python文件同源下的.csv文件，我暂时也没去搞，重在理解，以后有时间再补上

import numpy as np
import torch
import matplotlib.pyplot as plt

# prepare dataset
xy = np.loadtxt('diabetes.csv', delimiter=',', dtype=np.float32)
x_data = torch.from_numpy(xy[:, :-1])  # 第一个‘：’是指读取所有行，第二个‘：’是指从第一列开始，最后一列不要
y_data = torch.from_numpy(xy[:, [-1]])  # [-1] 最后得到的是个矩阵


# design model using class


class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        # 将输入维度逐层降低，可能是机器学习里面的知识
        # 逐层降低输入维度的原因是为了构造一个深度神经网络，其优点是每一层都可以学习到不同级别的特征表示，有利于更好捕捉数据中的复杂关系和特征
        # 并且其还可以控制模型的复杂性，在深度神经网络中较低层次的特征表示通常比较简单，可以防止模型训练过拟合，提高泛化能力

        self.linear1 = torch.nn.Linear(8, 6)  # 输入数据x的特征是8维，x有8个特征
        self.linear2 = torch.nn.Linear(6, 4)
        self.linear3 = torch.nn.Linear(4, 1)
        # 往往模型要达到较好效果，sigmoid这个非线性激活函数不一定适合，可以搜其它线性激活函数，然后画出损失函数图像，比较用哪个比较好

        self.sigmoid = torch.nn.Sigmoid()  # 将其看作是网络的一层，而不是简单的函数使用

    def forward(self, x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        # 当换成别的激活函数时会有风险就是最后y_hat值为0，但是激活函数含logx，所以在前馈最后一层计算y的预测值时，最好换成像sigmiod这种没有类似风险的函数
        x = self.sigmoid(self.linear3(x))  # y hat
        return x


model = Model()

# construct loss and optimizer
# criterion = torch.nn.BCELoss(size_average = True)
criterion = torch.nn.BCELoss(reduction='mean')
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

epoch_list = []
loss_list = []
# training cycle forward, backward, update
for epoch in range(100):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())
    epoch_list.append(epoch)
    loss_list.append(loss.item())

    optimizer.zero_grad()
    loss.backward()

    optimizer.step()

plt.plot(epoch_list, loss_list)
plt.ylabel('loss')
plt.xlabel('epoch')
plt.show()

model = Model()