机器学习常见的优化算法

机器学习中常见的一些优化算法的总结，以最直接的方式理解。

注：梯度下降法图片来自Rachel-Zhang的博客

机器学习常见的优化算法

不是所有的方程都具有解析解，因此可采用优化的方法寻找其最有解，在机器学习中常见的算法有梯度下降法、牛顿法和拉格朗日对偶性。

1、梯度下降法

具有一阶连续的偏导数的目标函数，以Andrew Ng老师的课件简要说明。采用线性回归算法来说明，回归函数为：

目标函数和优化条件

让参数沿着梯度下降的方向走，并迭代地不断减小J(theta0，theta1)，达到稳定状态。

初始化theta0，theta1，然后根据梯度下降的方向优化目标值theta0和theta1，使代价函数逐渐收敛到一定的值，一般是指代价函数的偏导数小于某一个值。