![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
梯度优化
碑 一
这个作者很懒,什么都没留下…
展开
-
动量更新
# Momentum update v = mu * v - learning_rate * dx # integrate velocity x += v # integrate position mu一般选0.9 利用动量更新方法,参数向量就可以沿着和梯度方向积累速度。 ...原创 2019-12-21 11:14:47 · 379 阅读 · 0 评论 -
BGD,SGD,MBGD
文章目录批量梯度下降BGD随机梯度下降SGD小批量梯度下降MBGD 一般线性回归函数的假设函数为: 批量梯度下降BGD 对所有的参数求均方误差 损失函数: 随机梯度下降SGD #更新单个参数,对单个参数求均方误差 小批量梯度下降MBGD 顾名思义。 ...原创 2019-12-16 21:13:08 · 357 阅读 · 0 评论