机器学习算法中经常碰到非线性优化问题,如 Sparse Filtering 算法,其主要工作在于求解一个非线性极小化问题。在具体实现中,大多调用的是成熟的软件包做支撑,其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理,这几天做了一些调研,现把学习过程中理解的一些东西整理出来。
目录链接
(1) 牛顿法
(2) 拟牛顿条件
(3) DFP 算法
(4) BFGS 算法
(5) L-BFGS 算法
![](https://i-blog.csdnimg.cn/blog_migrate/68d616c9b58fda412879e4f7cce47427.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c0501d98fe3ab54558cf57979b1e35da.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c78fe04ef3eabef1cec7369cb770d0a1.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f85b34715bcc7b9f95fb646c30a0c606.png)
![](https://i-blog.csdnimg.cn/blog_migrate/897918617179f92fc39f3159bec5d893.png)
作者: peghoty
出处: http://blog.csdn.net/itplus/article/details/21896453
欢迎转载/分享, 但请务必声明文章出处.