PyTorch深度学习实践—02线性模型

视频来源: link.

课程概括

引入实例

根据已有的学习时间与所得成绩之间的对应关系，预测在给定学习时间的条件下，对应的成绩：

所选用的预测模型为线性模型：y = wx +b，为简化模型，我们先将b省略，则模型为：y = wx

为了找到能使预测模型所预测出的值尽量接近真实值的w,在机器学习中，一般会先给定一个任意的w值，再计算预测值与真实值之间的损失函数，通过对损失函数的评估，对w进行更新，再进一步进行预测。选用的损失函数为预测值与真实值差的平方和：

但一般使用较多的是平均平方误差（Mean Square Error，MSE）：

下图为选不同的权重w对应的MSE：

那如何选择w可以使损失函数最小呢，先使用穷举法进行测试，测试结果如图：

其中使损失函数达到最小值所对应的w即最优值。

代码实现

# 导入画图所需要的库
import numpy as np
import matplotlib.pyplot as plt

# 准备训练数据
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

# 前向算法,设函数为 y = wx
def forward(x):
    return x * w

# 定义损失函数
def loss(x,y):
    y_pred = forward(x)
    return (y_pred-y) * (y_pred-y)

# 对权重与对应损失值进行存储
w_list = []
mse_list = []


for w in np.arange(0.0, 4.1, 0.1):
    print('w=', w)
    l_sum = 0
    for x_val, y_val in zip(x_data, y_data):
        y_pred_val = forward(x_val)
        loss_val = loss(x_val, y_val)
        l_sum += loss_val
        print('/t', x_val, y_val, y_pred_val, loss_val)
    print('MSE=', l_sum/3)
    w_list.append(w)
    mse_list.append(l_sum/3)

plt.plot(w_list, mse_list)
plt.ylabel('loss')
plt.xlabel('w')
plt.show()

对应的结果图为：
课后作业为加入偏差b，并要求画出对应的损失函数图：

# 导入画图所需要的库
import numpy as np
import matplotlib.pyplot as plt
# 3D绘图工具包
from mpl_toolkits.mplot3d import Axes3D

# 下两行解决坐标轴不能显示中文的问题
from pylab import *
mpl.rcParams['font.sans-serif'] = ['SimHei']

x_data = [1.0, 2.0, 3.0]
y_data = [5.0, 8.0, 11.0]

# 前向算法，并设置y=wx+b
def forward(x):
    return x * w + b

# 损失函数
def loss(x,y):
    y_pred = forward(x)
    return (y_pred-y) * (y_pred-y)

# 对损失值进行存储
mse_list = []
# 权重 W 从0.0到4.0 间隔0.1取数
W = np.arange(0.0, 4.1, 0.1)
# 偏置 B 从0.0到4.0 间隔0.1取数
B = np.arange(0.0, 4.1, 0.1)
[w, b] = np.meshgrid(W, B)

# 累加损失值的变量
l_sum = 0

for x_val, y_val in zip(x_data, y_data):
    y_pred_val = forward(x_val)
    loss_val = loss(x_val, y_val)
    l_sum += loss_val
    print('\t', x_val, y_val, y_pred_val, loss_val)

# 建立画布，生成数据
fig = plt.figure()
ax = Axes3D(fig)
# 画曲面图---Axes3D.plot_surface(X, Y, Z)
ax.plot_surface(w, b, l_sum / 3, cmap='rainbow')
# 打标签
ax.set_xlabel("权重 W")
ax.set_ylabel("偏置项 B")
ax.set_zlabel("损失值")

plt.show()

对应结果图为：