python 随机梯度下降 解决简单的线性回归问题0

1.问题描述:

已知三组学习时长和最终得分的数据，建立数学模型，预测学习时长为4小时的最终得分

2.随机梯度下降：

x:学习时长 y:最终得分

模型：采用线性回归模型y_pred=wx，求解参数w

损失函数：loss=(y_pred-y)**2

这里和梯度下降算法的区别是:梯度下降算法cost=sum((y_pred-y)**2)/n，计算了所有样本点的loss,求和做的平均，再求cost关于w的偏导数作为梯度，当w去某个值时梯度等于0，因为w的更新公式是w=w-learning_rate*梯度，所以w保持不变，cost陷入鞍点，无法到达局部最优，而随机梯度下降loss=(y_pred-y)**2，随机选择了一对样本，计算loss关于w的偏导数作为梯度，这样做的好处是，虽然总的cost的梯度等于0,但是由于只采用了随机的一对样本，在鞍点时梯度有可能不等于0,这就有可能走出鞍点，到达局部最优。

其中：y_pred为穷举不同w时x对应的预测输出，loss最小时参数w最优

3.相关知识：

图中：loss=(y_pred-y)**2，梯度是目标函数关于w的偏导数，w按照以上公式更新,因为只对一对样本求loss,所以不用求和再平均。

4.python代码：

import random
import matplotlib.pyplot as plt

# 准备数据集
x_data = [1, 2, 3]
y_data = [2, 4, 6]

w = 1  # 随机初始化w=1
learning_rate = 0.005  # 初始化超参数学习速率，通常等于0.01,0.001或者更小


def forward(x):  # 前向计算y的预测值
    return x * w


def loss_cal(x, y):  # 计算一对样本数据的loss
    y_pred = forward(x)
    loss = (y_pred - y) ** 2
    return loss


def grad_cal(x, y):  # 计算一对样本数据的梯度
    grad = 2 * x * (w * x - y)
    return grad


epoch_list = []
w_list = []
loss_list = []

for epoch in range(200):
    random_number = random.randint(0, 2)  #
    x = x_data[random_number]
    y = y_data[random_number]
    w_list.append(w)
    loss = loss_cal(x, y)
    loss_list.append(loss)
    grad = grad_cal(x, y)
    w = w - learning_rate * grad
    epoch_list.append(epoch)

# 一个窗口画出两张图
plt.figure(1)
plt.subplot(2, 1, 1)
plt.plot(epoch_list, w_list)
plt.ylabel("w")

plt.subplot(2, 1, 2)
plt.plot(epoch_list, loss_list)
plt.xlabel("epoch")
plt.ylabel("loss")

plt.show()

5.可视化结果：

 可以看到，loss最小时，w=2。

6.以上均为个人学习pytorch基础入门中的基础，浅做记录，如有错误，请各位大佬批评指正！

7.关于问题描述和原理的部分图片参考刘老师的视频课件，本文也是课后作业的一部分，特此附上视频链接，《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili，希望大家都有所进步！