本文对比分析了机器学习中常用的优化方法——梯度下降法和牛顿法。梯度下降通过搜索负梯度方向更新参数，包括批量、随机和小批量三种形式。牛顿法则利用二阶导数的海森矩阵寻找极值点，但计算复杂。两者在收敛速度和计算成本上存在差异。
引言:
机器学习的本质是建立优化模型，通过优化方法，不断迭代参数向量，找到使目标函数最优的参数向量，最终建立模型。
通常用到的优化方法：梯度下降方法、牛顿法、拟牛顿法等。这些优化方法的本质就是在更新参数。
一:梯度下降法
梯度下降的思想:
通过搜索方向和步长来对参数进行更新。其中搜索方向是目标函数在当前位置的负梯度方向。因为这个方向是最快的下降方向。步长确定了沿着这个搜索方向下降的大小。迭代的过程就像是在不断的下坡，最终到达坡地。
接下来的目标函数以线性回归的目标函数为例：
1、批量梯度下降法
最低0.47元/天 解锁文章
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
