python 梯度下降 解决简单的线性回归问题1

1.问题描述:

已知三组学习时长和最终得分的数据，建立数学模型，预测学习时长为4小时的最终得分

2.梯度下降：

x:学习时长 y:最终得分

模型：采用线性回归模型y_pred=wx+b，求解参数w,b

损失函数：cost=sum((y_pred-y)**2)/n

其中：y_pred为穷举不同w,b时x对应的预测输出，cost最小时参数w,b最优

3.相关知识：

同理：可求得cost关于w的偏导数作为w的梯度。

图中：cost=sum((y_pred-y)**2)/n即目标函数，w的梯度是目标函数关于w的偏导数，b的梯度是目标函数关于b的偏导数,w,b以按照以上公式更新。

4.python代码:

import numpy as np
import matplotlib.pyplot as plt

# 准备数据集
x_data = [1, 2, 3]
y_data = [2, 4, 6]

w = 1  # 随机初始化w=1
b = 1  # 随机初始化b=1
learning_rate = 0.005  # 初始化超参数学习速率，通常等于0.01,0.001或者更小


def forward(x, w, b):  # 前向计算
    return x * w + b


def loss_cal(x_data, y_data, w, b):  # 计算loss
    loss_sum = 0
    for x, y in zip(x_data, y_data):
        y_pred = forward(x, w, b)
        loss = (y_pred - y) ** 2
        loss_sum += loss
    return loss_sum / len(x_data)


def grad_cal(x_data, y_data):  # 计算梯度
    w_grad_sum = 0
    b_grad_sum = 0
    for x, y in zip(x_data, y_data):
        w_grad = 2 * x * (w * x + b - y)
        b_grad = 2 * (w * x + b - y)
        w_grad_sum += w_grad
        b_grad_sum += b_grad
    return w_grad_sum / len(x_data), b_grad_sum / len(x_data)


epoch_list = []
w_list = []
b_list = []
loss_list = []

for epoch in range(200):
    w_list.append(w)
    b_list.append(b)
    epoch_list.append(epoch)
    loss = loss_cal(x_data, y_data, w, b)
    loss_list.append(loss)
    w_grad, b_grad = grad_cal(x_data, y_data)
    w = w - learning_rate * w_grad  # 更新权值
    b = b - learning_rate * b_grad  # 更新权值

# 一个窗口画出三张图
plt.figure(1)
plt.subplot(3, 1, 1)
plt.plot(epoch_list, b_list)
plt.ylabel("b")

plt.subplot(3, 1, 2)
plt.plot(epoch_list, w_list)
plt.ylabel("w")

plt.subplot(3, 1, 3)
plt.plot(epoch_list, loss_list)
plt.xlabel("epoch")
plt.ylabel("loss")

plt.figure(2)
ax3 = plt.axes(projection='3d')
X = w_list
Y = b_list
X, Y = np.meshgrid(X, Y)
Z = loss_cal(x_data, y_data, X, Y)
ax3.set_xlabel("w")
ax3.set_ylabel("b")
ax3.set_zlabel("loss")
ax3.plot_surface(X, Y, Z, cmap='rainbow')
plt.show()

5.可视化结果：

可以看到，随着训练次数增加，loss逐渐减小，w,b相应取2，0。

绘制出了w,b,loss的3d图。

6.以上均为个人学习pytorch基础入门中的基础，浅做记录，如有错误，请各位大佬批评指正！

7.关于问题描述和原理的部分图片参考刘老师的视频课件，本文也是课后作业的一部分，特此附上视频链接，《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili，希望大家都有所进步！