机器学习中的最优化方法（一） 无约束优化方法*

机器学习中的最优化方法（一） 无约束优化方法*

掌握常用的优化方法对机器学习算法而言是必不可少的，本文只介绍无约束问题的优化，后续会介绍有约束的情况。
主要介绍以下几个内容：

1 优化概述
2 无约束问题的优化方法
3 梯度下降法
4 牛顿法与拟牛顿法
5 梯度下降法与牛顿法的区别与联系

1.优化概述

设函数f是定义在$R^n$上的实值函数，最优化问题的数学模型如下
min f(x) (x∈D)
f称作目标函数，D是可行域，x是可行点

局部最优解：设点$x^{\ast }$∈ D.若存在$x^{\ast }$的一个邻域U($x^{\ast }$),使得如下不等式成立
f($x^{\ast }$)<= f(x) (任意的x∈D且x属于