pytorch 深度学习实践_p3_gradient

课程链接->https://www.bilibili.com/video/BV1Y7411d7Ys?p=3&spm_id_from=pageDriver

易混淆的点：

• loss是对单个样本评价好坏：
  

• cost是评价整个样本的好坏cost
  

求gradient的两种方式的区别

其中第二个随机梯度下降效果更好，有助于跳出可能出现的鞍点，所以求gradient的时候也就是对loss求导更好

• 整体的gradient
  可以平行运算效率高，但是容易出现鞍点梯度消失
• 随机gradient
  效率低但是不会出现鞍点的情况，所以找出来的w比较好

所以有种折中的办法：
取minii——batch
就是把一整个样本分成几个小的样本分别对其求随机梯度

求gradient

完整代码

import numpy as np
import matplotlib.pyplot as plt


x_data = [1.0, 2.0, 3.0, 4.0]
y_data = [2.0, 4.0, 6.0, 8.0]
w = 1.0
def forward(x):
    return w*x

def loss(x,y):
    y_pre = forward(x)
    return (y_pre-y)**2

def gradient(x,y):
    return x*x*(x*w-y)

print("Predict (before training)",4,forward(4))
l = []
for epoch in range(100):
    for x, y in zip(x_data, y_data):
        grad = gradient(x,y)
        w = w - 0.01 * grad
        print("\tgrad: ", x, y, grad)
        l.append(loss(x, y))

        print("progress: ", epoch, "w " , w, "loss ", l)

print("Predict (before training)",4,forward(4))
plt.plot(range(400),l)
plt.xlabel('x')
plt.ylabel('Loss')
plt.show()