课程链接->https://www.bilibili.com/video/BV1Y7411d7Ys?p=3&spm_id_from=pageDriver
易混淆的点:
-
loss是对单个样本评价好坏:
-
cost是评价整个样本的好坏cost
求gradient的两种方式的区别
其中第二个随机梯度下降效果更好,有助于跳出可能出现的鞍点,所以求gradient的时候也就是对loss求导更好
- 整体的gradient
可以平行运算效率高,但是容易出现鞍点梯度消失 - 随机gradient
效率低但是不会出现鞍点的情况,所以找出来的w比较好
所以有种折中的办法:
取minii——batch
就是把一整个样本分成几个小的样本分别对其求随机梯度
求gradient
完整代码
import numpy as np
import matplotlib.pyplot as plt
x_data = [1.0, 2.0, 3.0, 4.0]
y_data = [2.0, 4.0, 6.0, 8.0]
w = 1.0
def forward(x):
return w*x
def loss(x,y):
y_pre = forward(x)
return (y_pre-y)**2
def gradient(x,y):
return x*x*(x*w-y)
print("Predict (before training)",4,forward(4))
l = []
for epoch in range(100):
for x, y in zip(x_data, y_data):
grad = gradient(x,y)
w = w - 0.01 * grad
print("\tgrad: ", x, y, grad)
l.append(loss(x, y))
print("progress: ", epoch, "w " , w, "loss ", l)
print("Predict (before training)",4,forward(4))
plt.plot(range(400),l)
plt.xlabel('x')
plt.ylabel('Loss')
plt.show()