老饼讲解-动量梯度下降法(附python代码实例)

老饼讲解机器学习

已于 2024-06-08 07:17:12 修改

阅读量312

点赞数

文章标签：计算机视觉人工智能机器学习

于 2023-08-16 02:23:43 首次发布

本文链接：https://blog.csdn.net/ywj_1991/article/details/132310254

版权

本站原创文章，转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com

一.动量梯度下降法介绍

本节介绍动量梯度下降法的思想以及算法流程

1.1 动量梯度下降法简介与思想

动量梯度下降法是对梯度下降法的一种改进，
这主要是因为梯度下降法在遇到局部最优时，毫无办法

为了解决跳出局部最优，动量梯度下降法为此模仿物体从高处滚到低处的原理，
由于物体具有动量，遇到小坑时会由于原有动量而跃出小坑,因此，动量梯度下降法在迭代的过程中引入动量的概念，它的迭代量改为"速度",而当前的负梯度只作为速度的修改量，

动量梯度下降法迭代公式如下：
$v_t=mc*v_{t-1}+(1-mc)*(-\text{lr}*g)$
$x_t = x_{t-1} +v_{t}$
其中，mc是动量系数，一般设为0.9，g是梯度
这样做的好处是，在遇到“小坑”的时候，会因为原有的速度方向，冲出小坑

1.2 动量梯度下降法的算法流程

动量梯度下降法的具体算法流程如下
一、设置参数与初始化相关变量
1. 设置学习率lr
lr一般设为0.1
2. 设置动量系数mc
mc一般设为0.9
3. 初始化速度v
v一般初始化为0
4. 初始化初始解x
x随机初始化,或者具体问题具体设定
二、循环迭代
按如下步骤进行迭代
1.计算当前的梯度g
2.计算当前的梯度对v带来的修改量dx
   $\text{dx = lr*(-}g)$
3.计算当前的速度
   $\text{v = mc*v+(1-mc)*dx}$
4.更新x
$\text{x = x + v}$
5.检查迭代终止条件

如果满足终止条件，就退出迭代程序

  终止条件可设如下：

(1)是否达到最大迭代次数

  (2)目标函数值是否满足要求

(3) x是否多次变化极小

三、输出结果
输出最终的求解结果x

二.动量梯度下降法代码实例

本节展示动量梯度下降法求解函数最小值的一个代码实例

2.1 动量梯度下降法实例代码

现求解 $\small \text{y} = 0.4*x^2+3*\textbf{exp}\left (-(x+2)^2\right)$ 的极小值
它的函数图像如下：

其中，梯度公式为 $\dfrac{\partial \text{y}}{\partial x}=0.8*x-6*\textbf{exp}(-(x+2)^2)*(x+2)$
按以上算法流程，编写程序如下(python)：

# 本代码用动量梯度下降法求解函数y = 0.4*x^2+3*exp(-(x+2)^2) 的极小值
# 代码主旨用于教学,供大家学习理解动量梯度下降法的原理
# 转载请说明来自 《老饼讲解机器学习》 ml.bbbdata.com
import numpy as np 
import matplotlib.pyplot as plt

line_x = np.arange(-5,5.01,0.1)                # 目标函数曲线x
line_y = 0.4*line_x**2+3*np.exp(-(line_x+2)**2);  # 目标函数曲线y
lr = 0.1;                                      # 学习率
mc = 0.9;                                      # 动量系数
x  = -4;                                       # x的初始值
v  = 0;                                        # 初始速度
plt.figure(figsize=(8, 4))                     # 设置绘图的大小
for i in range(100) :                          #
   gx = -(0.8*x-6*np.exp(-(x+2)**2)*(x+2));    # 计算负梯度
   v  = mc*v+(1-mc)*lr*gx;                     # 将负梯度叠加到上一次速度中，作为本次的速度
   x  = x+v;                                   # 更新x
   y  = 0.4*x**2+3*np.exp(-(x+2)**2);          # 计算当前的目标函数值
   print('第%d轮x的迭代值x=%f'%(i,x))           #
   # ----绘图----
   plt.clf()
   plt.plot(line_x,line_y)
   plt.scatter(x,y, marker='o', color='none',edgecolors='b',s=60)
   plt.draw()#注意此函数需要调用
   plt.pause(0.01)

运行结果如下
第0轮x的迭代值x=-3.970198
第1轮x的迭代值x=-3.914051
第2轮x的迭代值x=-3.835152
第3轮x的迭代值x=-3.737256
第4轮x的迭代值x=-3.624348
....
第95轮x的迭代值x=0.033763
第96轮x的迭代值x=0.037061
第97轮x的迭代值x=0.041660
第98轮x的迭代值x=0.047361
第99轮x的迭代值x=0.053971
经过100步迭代，求得最后y在x=0.053971处取得极小值

相关文章
1-LVQ的学习目录：老饼|BP神经网络-竞争神经网络
2-SVM的学习目录：老饼|BP神经网络-感知机与SVM
3-BP的学习目录：老饼|BP神经网络-BP入门

老饼讲解机器学习

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
老饼讲解-动量梯度下降法(附python代码实例)

本节介绍动量梯度下降法的思想以及算法流程动量梯度下降法是对梯度下降法的一种改进，这主要是因为梯度下降法在遇到局部最优时，毫无办法为了解决跳出局部最优，动量梯度下降法为此模仿物体从高处滚到低处的原理，由于物体具有动量，遇到小坑时会由于原有动量而跃出小坑,因此，动量梯度下降法在迭代的过程中引入动量的概念，它的迭代量改为"速度",而当前的负梯度只作为速度的修改量，动量梯度下降法迭代公式如下：其中，mc是动量系数，一般设为0.9，g是梯度。
复制链接

扫一扫