Pytorch深度学习实践2—梯度下降算法

课程第二节，分别讲了梯度下降和随机梯度下降的算法

一些课堂重点和代码解释都标在#上了

梯度下降算法：
 

#Gradient Descent Algorithm(梯度下降算法)
import numpy as np
import matplotlib.pyplot as plt
x_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]
#给w一个初始值，然后根据梯度下降去寻求最优值
w=1.0
#目标函数的值
def forward(x):
    return x*w
#在w取不同的值得时候，此时损失函数的值，为了更直观看出变化
def cost(xs,ys):
    cost=0
    for x,y in zip(xs,ys):
        y_pred=forward(x)
        loss=(y_pred-y)**2
        cost+=loss
    return cost/len(xs)
#梯度函数，求出且返回w此时的梯度值
def gradient(xs,ys):
    grad=0
    for x,y in zip(xs,ys):
        grad+=2*x*(x*w-y)
    return grad/len(xs)
print('predict before training',4, forward(4))
#得到迭代100次之后w的值以及所对应的损失函数的值
cost_list=[]
for epoch in range(100):
    #w每次更新迭代之后的损失函数的值
    cost_val=cost(x_data,y_data)
    cost_list.append(cost_val)
    #w所在位置的梯度
    grad_val=gradient(x_data,y_data)
    #w更新，设置0.01为learning rate(学习率)，如果训练失败大多因学习率取得太大了
    w-=0.01*grad_val
    #每次优化之后数据的变化
    print('Epoch:',epoch,'w=',w,'loss=',cost_val)
#经过优化之后，取到的w的值，以及当x=4时，目标函数的值
print('Predict (after training)',4,forward(4))
plt.plot(range(100),cost_list)
plt.ylabel('LOSS')
plt.xlabel('poch')
plt.show()

结果展示：

随机梯度下降算法代码展示：

#Stochastic Gradient Descent(随机梯度下降)
"""
随机梯度下降和梯度下降的区别在,梯度下降是将所有训练集一次性进行运算，这种方法
性能低，但是时间复杂度小，为了更好地到训练结果，选择使用随机梯度下降，每次只随机抽取训练集
中的一组数据（这里老师的代码中没有随机抽取是按照顺序依次抽取也有一定随机性，
个人认为老师这种做法相当于迭代更新了300遍）进行梯度运算，这种效果性能好，但是时间复杂度高
于是，在深度学习省更多采用mini-batch的方式，分组进行优化运算（因为使用太多，通常大家也叫batch）
"""
import numpy as np
import matplotlib.pyplot as plt
x_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]
#给w一个初始值，然后根据梯度下降去寻求最优值
w=1.0
#目标函数的值
def forward(x):
    return x*w
#在w取不同的值得时候，此时损失函数的值，为了更直观看出变化edsa
def loss(x,y):
    y_pred=forward(x)
    loss=(y_pred-y)**2
    return loss
#梯度函数，求出且返回w此时的梯度值
def gradient(x,y):
    return 2*x*(x*w-y)
print('predict before training',4, forward(4))
#得到迭代100次之后w的值以及所对应的损失函数的值
cost_list=[]
for epoch in range(100):
    loss_epoch=0
    #w每次更新迭代之后的损失函数的值
    for x,y in zip(x_data,y_data):
           #w所在位置的梯度
        grad_val=gradient(x,y)
        #w更新，设置0.01为learning rate(学习率)，如果训练失败大多因学习率取得太大了
        w-=0.01*grad_val
        #每次优化之后数据的变化
        loss_epoch += loss ( x , y )
    cost_list.append ( loss_epoch / len ( x_data ) )
    print('Epoch:',epoch,'w=',w,'loss=',loss_epoch/len(x_data))
#经过优化之后，取到的w的值，以及当x=4时，目标函数的值
print('Predict (after training)',4,forward(4))
plt.plot(range(100),cost_list)
plt.ylabel('LOSS')
plt.xlabel('poch')
plt.show()

结果展示：

由最后的结果可以看出来同样100次迭代，随机梯度算法好像得到的结果更优化