PyTorch深度学习实践

PyTorch深度学习实践

线性模型

数据集——>模型设计——>训练——>推理
评估模型就称为损失，训练就是为了将损失降到最低
MSE：平均平方误差
线性模型的一个例子

import numpy as np
import matplotlib.pyplot as plt

x_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]

#训练函数
def forward(x,w):
    return x*w

def loss(x,y,w):
    y_pred=forward(x,w)
    return (y_pred-y)**2

w_list=[]
mse_list=[]
for w in np.arange(0.0,4.1,0.1):
    print('w=',w)
    l_sum=0
    for x_val,y_val in zip(x_data,y_data):
        y_pred_val=forward(x_val,w)
        loss_val=loss(x_val,y_val,w)
        l_sum+=loss_val
        print('\t',x_val,y_val,y_pred_val,loss_val)
    print('MSE=',l_sum/3)
    w_list.append(w)
    mse_list.append(l_sum/3)

plt.plot(w_list,mse_list)
plt.ylabel('Loss')
plt.xlabel('w')
plt.show()

梯度下降算法

鞍点：梯度为零的点
用到的核心公式：
其中w是选择的参数，α是一个每次下降的多少，后面是当前的梯度

反向传播

import numpy as np
import matplotlib.pyplot as plt

x_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]

w=1.0
#训练函数
def forward(x):
    return x*w

#损失函数
def cost(x,y):
    cost=0.0
    for xs,ys in zip(x,y):
        y_pred=forward(xs)
        cost+=(y_pred-ys)*(y_pred-ys)
    return cost/len(x)  #用len函数取得列表的长度

def gradient(xs,ys):
    grad=0
    for x,y in zip(xs,ys):
        grad+=2*x*(x*w-y)
    return grad/len(xs)
w_list=[]
loss_list=[]
print('Predict(before training',4,forward(4))
for epoch in range(100): #进行100轮的训练
    cost_val=cost(x_data,y_data)
    grad_val=gradient(x_data,y_data)
    w-=0.01*grad_val
    print('Epoch:',epoch,'w=',w,'loss=',cost_val