梯度下降算法
由于穷举法时间复杂度高,如果未知权重多,其得到结果时间十分可观,这里利用随机梯度下降算法
算法公式
利用偏导数得到曲线斜率,根据斜率的正负,沿斜率为正下降(梯度下降)直到驻点结束。
其中图中圈红的是学习率,从数学角度分析也即每次要移动距离(其实就是个系数),这个不能取太大,应该微调要不然难以收敛
缺陷
这样的方法只能得到局部最优
但是损失函数曲线不一定是一个二次抛物线,可能有鞍点,这个是要求得最佳权重的难点
随机梯度下降与普通梯度下降
随机梯度下降更新参数公式:
普通梯度下降更新参数公式:
很明显可以看到,随机梯度下降用的是部分且随机样本,得到局部的最优,而普通梯度下降是用的全部数据,理论上没有驻点可以得到全局最优解,但是驻点经常会有,即使这样求局部最优不一定能得到全局最优,但是这样处理已经比普通梯度下降好的多。对于不能得到全局最优,实际上可以改变学习率尽量接近全局最优。
随机梯度下降优点:有效避免驻点;缺点:不一定是全局最优
普通梯度下降优点:可以很好运用计算机并行运算的机制提高运算效率;缺点:无法排除驻点
对线性方程用梯度下降求损失函数
把线性方程带入求偏导数:
代码实现:
import matplotlib.pyplot as plt
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w = 1.0
def forward(x):
return x*w
# calculate loss function
def loss(x, y):
y_pred = forward(x)
return (y_pred - y)**2
# define the gradient function sgd
def gradient(x, y):
return 2*x*(x*w - y)
epoch_list = []
loss_list = []
print('predict (before training)', 4, forward(4))
for epoch in range(100):
for x,y in zip(x_data, y_data):
grad = gradient(x,y)
w = w - 0.01*grad # update weight by every grad of sample of training set
print("\tgrad:", x, y,grad)
l = loss(x,y)
print("progress:",epoch,"w=",w,"loss=",l)
epoch_list.append(epoch)
loss_list.append(l)
print('predict (after training)', 4, forward(4))
plt.plot(epoch_list,loss_list)
plt.ylabel('loss')
plt.xlabel('epoch')
plt.show()