机器学习中的最优化方法(一) 无约束优化方法*
掌握常用的优化方法对机器学习算法而言是必不可少的,本文只介绍无约束问题的优化,后续会介绍有约束的情况。
主要介绍以下几个内容:
1 优化概述
2 无约束问题的优化方法
3 梯度下降法
4 牛顿法与拟牛顿法
5 梯度下降法与牛顿法的区别与联系
1.优化概述
设函数f是定义在 R n R^n Rn上的实值函数,最优化问题的数学模型如下
min f(x) (x∈D)
f称作目标函数,D是可行域,x是可行点
局部最优解:设点 x ∗ x^* x∗∈ D.若存在 x ∗ x^* x∗的一个邻域U( x ∗ x^* x∗),使得如下不等式成立
f( x ∗ x^* x∗)<= f(x) (任意的x∈D且x属于