python 随机梯度下降 克服复杂网络模型求解梯度难的问题，使用pytorch自动求导机制，tensor 反向传播，解决简单的线性回归问题1

1.问题描述:

已知三组学习时长和最终得分的数据，建立数学模型，预测学习时长为4小时的最终得分

2.随机梯度下降：

x:学习时长 y:最终得分

模型：采用线性回归模型y_pred=wx+b，求解参数w,b。

损失函数：loss=(y_pred-y)**2

这里和梯度下降算法的区别是:梯度下降算法cost=sum(y_pred-y)**2/n，计算了所有样本点的loss,求和做的平均，再求cost关于w的偏导数作为w的梯度,cost关于b的偏导数作为b的梯度，当w，b某个值时梯度等于0，因为w,b的更新公式是w=w-learning_rate*w的梯度，b=b-learning_rate*b的梯度，所以w，b保持不变，cost陷入鞍点，无法到达局部最优，而随机梯度下降loss=(y_pred-y)**2，随机选择了一对样本，计算loss关于w,b的偏导数作为梯度，这样做的好处是，虽然总的cost的梯度等于0,但是由于只采用了随机的一对样本，在鞍点时梯度有可能不等于0,这就有可能走出鞍点，到达局部最优。

其中：y_pred为穷举不同w,b时x对应的预测输出，loss最小时参数w,b最优。因为要用到loss对w,b的梯度，故使用pytorch 自动求导机制，将w,b的梯度在反向计算完成时保存在tensor类型的w,b变量中。

3.python代码：

import random
import torch
import numpy as np
import matplotlib.pyplot as plt

# 准备数据
x_data = [1, 2, 3]
y_data = [2, 4, 6]

# 初始化权值,tensor类型，要求保存梯度，用于反向传播，bp
w = torch.tensor([1.0])
b = torch.tensor([1.0])

# tensor类型中默认不保存梯度grad，因为后面我们要用到梯度grad,所以设置tensor类型的数据w,b包含梯度，反向计算的时候将梯度保存在w,b中
w.requires_grad = True
b.requires_grad = True

# 初始化学习速率
learning_rate = 0.01


# 构建计算图
# y_pred=w*x+b
# loss=(y_pred-y)**2
def forward(x):
    return w * x + b


# 计算loss,返回值为tensor类型
def loss_cal(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2


# 创建空列表，用于保存epoch迭代次数/w权值/loss损失函数值
epoch_list = []
w_list = []
b_list = []
loss_list = []

for epoch in range(1500):
    # 保存epoch
    epoch_list.append(epoch)

    # 保存w,因为w是tensor类型，取.data
    w_list.append(w.data)

    # 保存b,因为w是tensor类型，取.data
    b_list.append(b.data)

    # 产生一个0-2的随机数，用于随机选择下x_data,y_data中的一对样本
    random_number = random.randint(0, 2)
    x = x_data[random_number]
    y = y_data[random_number]

    # 前向计算loss
    loss = loss_cal(x, y)

    # 反向传播
    loss.backward()

    # 保存loss,因为loss是tensor类型，取.data
    loss_list.append(loss.data)

    # 权值更新
    w.data = w.data - learning_rate * w.grad.data
    b.data = b.data - learning_rate * b.grad.data

    # 迭代一次后将保存在w,b中的梯度清零，防止和下一次计算得到的梯度相加
    w.grad.data.zero_()
    b.grad.data.zero_()

# 画出w,b,loss随着epoch的变化趋势线
plt.figure(1)
plt.subplot(3, 1, 1)
plt.plot(epoch_list, loss_list)
plt.ylabel("loss")
plt.subplot(3, 1, 2)
plt.plot(epoch_list, b_list)
plt.ylabel("b")
plt.subplot(3, 1, 3)
plt.plot(epoch_list, w_list)
plt.ylabel("w")
plt.xlabel("epoch")

plt.show()

4.可视化结果：

可以看到，随着迭代次数增加，loss逐渐减小，w,b分别趋近于2,0 。

5.以上均为个人学习pytorch基础入门中的基础，浅做记录，如有错误，请各位大佬批评指正！

6.关于问题描述和原理的部分图片参考刘老师的视频课件，本文也是课后作业的一部分，特此附上视频链接，《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili，希望大家都有所进步！