1.问题描述:
已知三组学习时长和最终得分的数据,建立数学模型,预测学习时长为4小时的最终得分
2.梯度下降法:
x:学习时长 y:最终得分
模型:采用线性回归模型y_pred=wx,求解参数w
损失函数:cost=sum((y_pred-y)**2)/n
其中:y_pred为穷举不同w时x对应的预测输出,loss最小时参数w最优
3.相关知识:
图中:cost=sum((y_pred-y)**2)/n即目标函数,梯度是目标函数关于w的偏导数,w以以上公式更新
4.python代码:
import matplotlib.pyplot as plt
x_data = [1, 2, 3]
y_data = [2, 4, 6]
w = 1 # 随机初始化w=1
learning_rate = 0.01 # 初始化超参数学习速率,通常等于0.01,0.001或者更小
def forward(x): # 前向计算
return x * w
def loss_cal(x_data, y_data): # 计算loss
loss_sum = 0
for x, y in zip(x_data, y_data):
y_pred = forward(x)
loss = (y_pred - y) ** 2
loss_sum += loss
return loss_sum / len(x_data)
def grad_cal(x_data, y_data): # 计算梯度
grad_sum = 0
for x, y in zip(x_data, y_data):
grad = 2 * x * (w * x - y)
grad_sum += grad
return grad_sum / len(x_data)
w_list = []
epoch_list = []
loss_list = []
for epoch in range(100):
w_list.append(w)
epoch_list.append(epoch)
loss = loss_cal(x_data, y_data)
loss_list.append(loss)
grad = grad_cal(x_data, y_data)
w = w - learning_rate * grad # 更新权值
# 一个窗口画出两张图
plt.figure(1)
plt.subplot(2, 1, 1)
plt.plot(epoch_list, loss_list)
plt.ylabel("loss")
plt.subplot(2, 1, 2)
plt.plot(epoch_list, w_list)
plt.xlabel("epoch")
plt.ylabel("w")
plt.show()
5.可视化结果:
由图中可以看出:训练了100轮,随着训练次数的增加,loss逐渐减小直至0,此时w=2。
6.以上均为个人学习pytorch基础入门中的基础,浅做记录,如有错误,请各位大佬批评指正!
7.关于问题描述和原理的部分图片参考刘老师的视频课件,本文也是课后作业的一部分,特此附上视频链接,《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili,希望大家都有所进步!