- 博客(2)
- 收藏
- 关注
RSS订阅转载 bfgs拟牛顿法
在最优化领域，有几个你绝对不能忽略的关键词：拟牛顿、DFP、BFGS。名字很怪，但是非常著名。下面会依次地说明它们分别“是什么”，“有什么用” 以及 “怎么来的”。 但是在进入正文之前，还是要先提到一个概念上的区别，否则将影响大家的理解：其实DFP算法、BFGS算法都属于拟牛顿法，即，DFP、BFGS都分别是一种拟牛顿法。 先说一点轻松的——我至少要让一小部分人对这篇文章“有点兴趣
2015-05-02 11:37:40
1433
原创 最小二乘法，牛顿法，梯度下降法以及比较
以下引用了一些网上的资源 1.最小二乘法 最小二乘法的目标：求误差的最小平方和，对应有两种：线性和非线性。线性最小二乘的解是closed-form即，而非线性最小二乘没有closed-form，通常用迭代法求解。迭代法，即在每一步update未知量逐渐逼近解，可以用于各种各样的问题（包括最小二乘），比如求的不是误差的最小平方和而是最小立方和。 1.1梯度下降是迭代法的一种，可以用于求解最小二
2015-05-02 11:03:43
10637
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人