Pytorch-多维特征输入

要想把一个多维空间转换为一维空间的非线性空间变换，要在神经网络里引入激活函数。

激活函数给线性变换增加非线性因子，从而可以拟合非线性变换。

神经网络中神经元越多，学习能力就越强，但学习能力强可能会把输入样本中的噪声的规律也学习到，学习应有泛化能力。

代码如下：

import numpy as np
import torch
import matplotlib.pyplot as plt

# 用loadtxt把数据读出来
# delimiter=','，以逗号作为分隔符
# dtype=np.float32,数据类型为32位的浮点数
xy = np.loadtxt('data/diabetes.csv', delimiter=',', dtype=np.float32)

#创建输入输出数据
x_data = torch.from_numpy(xy[:, :-1]) #所有行，除了最后一列
y_data = torch.from_numpy(xy[:,[-1]]) #所有行，只有最后一列

class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8,6)# 第一层是8维到6维的非线性空间变换
        self.linear2 = torch.nn.Linear(6,4)# 第二层是6维到4维的非线性空间变换
        self.linear3 = torch.nn.Linear(4,1)# 第三层是4维到1维的非线性空间变换
        self.sigmoid = torch.nn.Sigmoid()# 激活函数模块

    def forward(self, x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x


model = Model()

criterion = torch.nn.BCELoss(reduction='mean')  # loss均值
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

epoch_list = []
loss_list = []

for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    epoch_list.append(epoch)
    loss_list.append(loss.item())

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    if (epoch % 100 == 0):
        print(epoch, loss.item())


plt.plot(epoch_list, loss_list)
plt.xlabel("Epoch")
plt.ylabel("Loss")
plt.show()

结果如下：

0 0.6494088172912598
100 0.6453800201416016
200 0.6453315615653992
300 0.6452845931053162
400 0.6452376842498779
500 0.6451902389526367
600 0.6451418995857239
700 0.6450917720794678
800 0.6450393199920654
900 0.6449838280677795

图表如下：