《机器学习中的优化方法》之一:梯度法/最速下降法
0、引言 机器学习中的优化问题
机器学习中的model,基本都会有一个object function。通过是最小化object function,来获得model的参数。
那么这里就用到了“优化方法”,而且多是“多变量优化”。多变量体现在参数多。
当然简单的模型可以得到解析解(例如线性回归,残差平方最小化),但是更多的模型是无法得到解析解的。
下图是:线性回归的参数估计问题,通过极大似然法导出了最小二乘法
机器学习的优化问题多数是“无约束优化问题”,即对自变量的范围、自变量的相关性等没有限制,每个自变量(参数)的作用域的实数空间R。
无约束优化问题的典型求解方法:
1、下降递推算法
2、 一维搜索
此处只介绍牛顿法。在机器学习中,这一步就是学习效率的确定,机器学习多处理成常数。
牛顿法(Newton)
3、求多变量函数极值的基本下降法
3.1、最速下降法(梯度法)
3.2、 Newton法
3.3、阻尼Newton法
参考:
1.http://book.douban.com/subject/1164411/