- 博客(2)
- 收藏
- 关注
转载 bfgs拟牛顿法
在最优化领域,有几个你绝对不能忽略的关键词:拟牛顿、DFP、BFGS。名字很怪,但是非常著名。下面会依次地说明它们分别“是什么”,“有什么用” 以及 “怎么来的”。但是在进入正文之前,还是要先提到一个概念上的区别,否则将影响大家的理解:其实DFP算法、BFGS算法都属于拟牛顿法,即,DFP、BFGS都分别是一种拟牛顿法。先说一点轻松的——我至少要让一小部分人对这篇文章“有点兴趣
2015-05-02 11:37:40 1477
原创 最小二乘法,牛顿法,梯度下降法以及比较
以下引用了一些网上的资源1.最小二乘法最小二乘法的目标:求误差的最小平方和,对应有两种:线性和非线性。线性最小二乘的解是closed-form即,而非线性最小二乘没有closed-form,通常用迭代法求解。迭代法,即在每一步update未知量逐渐逼近解,可以用于各种各样的问题(包括最小二乘),比如求的不是误差的最小平方和而是最小立方和。1.1梯度下降是迭代法的一种,可以用于求解最小二
2015-05-02 11:03:43 10728
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人