Pytorch学习记录------实现简单的线性回归

目的

使用深度学习框架Pytorch，实现线性回归。
通俗的讲，就是训练时输入俩组数据，他们的关系是（y=ax+b）。训练完成之后的模型可以直接实现输入x，输出y。

构造X和y

x和y构造时，就先把他们的关系自己确认下来。（因为只是实验，所以我们要明确出他们的线性关系。方便验证）

x_values = [i for i in range(11)]
x_train = np.array(x_values, dtype=np.float32) # np就是给numpy取的别名
x_train = x_train.reshape(-1, 1)
x_train.shape

y_values = [2*i + 1 for i in x_values] # 线性关系是y=2x+1
y_train = np.array(y_values, dtype=np.float32)
y_train = y_train.reshape(-1, 1)

线性回归模型

其实线性回归就是一个不加激活函数的全连接层。几乎所有的教程都是这么说的，，但是作为小白的我来说，似乎和天书一样，激活函数是什么，全连接层又是啥，。每个字我都认识，但是加在一起，我就不认识了。然后我就查了一些资料，逐渐有了一点点的认识。
我们先看这句话的前面一个，激活函数是啥。

如果输入变化很小，导致输出结构发生截然不同的结果，这种情况是我们不希望看到的，为了模拟更细微的变化，输入和输出数值不只是0到1，可以是0和1之间的任何数，激活函数是用来加入非线性因素的，因为线性模型的表达力不够。

说白了，激活函数就是为非线性模型准备的，而线性回归来说，很明显不需要。。至于到底激活函数干了啥。可以参考这个回答，我似乎通过这个回答，理解了一点。https://www.zhihu.com/question/22334626

然后就是全连接层是啥了。

连接所有的特征，将输出值送给分类器（如softmax分类器）。

这就是全连接层。对于线性回归来说，输入的x的值就可以当成它的特征，所以就直接传给分类器了咯。
然后就开始构造模型吧。

class LinearRegressionModel(nn.Module):
    def __init__(self, input_dim, output_dim):
        super(LinearRegressionModel, self).__init__()
        self.linear = nn.Linear(input_dim, output_dim) #使用深度学习中的全连接层来进行线性回归

    def forward(self, x):
        out = self.linear(x)
        return out

参数设定

input_dim = 1
output_dim = 1 # 设定输入输出维度，都是1

model = LinearRegressionModel(input_dim, output_dim)

epochs = 1000 # 训练次数
learning_rate = 0.01 # 学习率设定
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate) #使用SGD优化模型
criterion = nn.MSELoss() # 损失函数

训练

for epoch in range(epochs):
    epoch += 1
    # 注意转行成tensor
    inputs = torch.from_numpy(x_train)
    labels = torch.from_numpy(y_train)

    # 梯度要清零每一次迭代，否则会累加
    optimizer.zero_grad()

    # 前向传播
    outputs = model(inputs)

    # 计算损失
    loss = criterion(outputs, labels)

    # 反向传播
    loss.backward()

    # 更改权重
    optimizer.step()

    if epoch % 50 == 0:
        print("epoch {} ,loss {}".format(epoch,loss.item()))

验证

直接把训练时用的x输入到model中，然后打印出来看看。

predicted = model(torch.from_numpy(x_train).requires_grad_()).data.numpy()
print(x_train)
print(y_train)
print(predicted)

可以发现，从模型中得到的值，和理论值非常的接近了。

保存

torch.save(model.state_dict(), 'model.pkl')

下次要用时，就不用重新训练了，而是可以直接加载过来用了。

model.load_state_dict(torch.load('model.pkl'))
predicted = model(torch.from_numpy(x_train).requires_grad_()).data.numpy()
print(x_train)
print(y_train)
print(predicted)