【Pytorch】4. Pytorch搭建一维线性回归

一、理论介绍

给定数据集$D$ = {$(x_1,y_1)$,$(x_2,y_2)$,$(x_3,y_3)$,…,$(x_m,y_m)$}，线性回归希望能够求出函数f(x)，使$y_1$与$f(x)=w{x}_i+b$足够接近。因样本点一致，所以模型的训练目的是学习出左右的w,b。使得每个样本的点$y_1$与$f(x)$差值最小。
1、定义一维线性函数
$$f(x_i)=w{x}_i+b$$
2、定义损失函数
$$\left(w^{\ast },b^{\ast }\right)=\underset{w,b}{argmin}\sum _{i=1}^m(f(x_i)-y_i{)}^2=\underset{w,b}{argmin}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$
3、求出是损失函数最小的参数w，b（导数等于0的点是极小值点）
$$\frac{\partial Los{s}_{w,b}}{\partial w}=2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i\right)=0$$
$$\frac{\partial Los{s}_{w,b}}{\partial b}=2\left(mb-\sum _{i=1}^m(y_i-w{x}_i)\right)=0$$
一元函数，可以直接通过导数等于0，求出极小值点，不需要进行随机梯度下降法。
有上两个式子联立求得$w$和$b$的最优解：
$$w=\frac{{\sum }_{i=1}^m{y}_i\left(x_i-\overline{x}\right)}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2}$$
$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$

二、代码实现

import torch
import matplotlib.pyplot as plt
import torch.optim as optim
from torch.autograd import Variable
import torch.nn as nn
import numpy as np

x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)
y = 3*x + 10 + torch.rand(x.size())  #构造y= 3x+10的数据集，同时加上torch.rand()从[0, 1)的均匀分布中抽取的一组随机数作为噪音

#定义模型
class LinearRegression(nn.Module):
    def __init__(self):
        super(LinearRegression,self).__init__()
        self.linear = nn.Linear(1,1)  #input and output is 1 dimension
        
    def forward(self,x):
        output = self.linear(x)
        return output

if torch.cuda.is_available():
    model = LinearRegression().cuda()
else:
    model = LinearRegression()

#定义损失和优化函数
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(),lr=1e-3)

#模型训练
num_epoch = 3000
for epoch in range(num_epoch):
    if torch.cuda.is_available():
        inputs = Variable(x).cuda()
        target = Variable(y).cuda()
    else:
        inputs = Variable(x)
        target = Variable(y)
    
    # 向前传播
    out = model(inputs)
    loss = criterion(out,target)
    #b反向求导
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    
    if (epoch+1) % 20 == 0:
        print(f'Epoch[{epoch+1}/{num_epoch}],loss:{loss.item():.6f}')

import matplotlib.pyplot as plt

model.eval()
if torch.cuda.is_available():
    predict = model(Variable(x).cuda())
    predict = predict.data.cpu().numpy()
else:
    predict = model(Variable(x))

plt.plot(x.numpy(),y.numpy(),'ro',label='Original data')
plt.plot(x.numpy(),predict,label='Fitting Line')
plt.show()

拟合结果如下图：

---

参考文献：本文为《深度学习之Pytorch》读书笔记