模型学习的过程实质上就是一个寻找最优参数的过程,例如BP算法试图通过最速下降来寻找使累积经验误差最下的权值与阈值,在谈到最优时。一般会提到局部极小和全局最小。
1.局部极小解:参数空间中某个点,其邻域点的误差函数值均不小于该点的误差函数值。
2.全局最小解:参数空间某个点,所有其他点的误差函数值均不小于该点的误差函数值。
要成为局部极小点,只要满足该点在参数空间的梯度为0.局部极小可以有多个,而全局最小只有一个。全局最小一定是局部极小,而局部极小却不一定是全局最小。在很多机器学习算法中都试图找到目标函数的全局最小。
梯度下降的思想就是沿着负梯度方向去搜索最优解,负梯度方向是函数值下降最快的方向,若迭代到某处梯度为0,则表示达到了一个局部极小,参数停止更新。
在现实任务中,通常使用以下策略尽可能接近全局最小:
1.以多组不同参数值初始化网络,迭代停止后,取误差最小解为最终参数
2.使用模拟退火技术
3.使用随机梯度下降,即计算梯度时加入随机因素,使得在局部极小时梯度仍可能不为0,从而继续迭代
神经网络-全局最小与局部极小
最新推荐文章于 2024-04-16 19:02:44 发布