最优化
zbxzc
这个作者很懒,什么都没留下…
展开
-
无约束最优化方法
转自:http://www.cnblogs.com/zhangchaoyang/articles/2600491.html梯度的方向与等值面垂直,并且指向函数值提升的方向。二次收敛是指一个算法用于具有正定二次型函数时,在有限步可达到它的极小点。二次收敛与二阶收敛没有尽然联系,更不是一回事,二次收敛往往具有超线性以上的收敛性。一阶收敛不一定是线性收敛。解释一下什么叫正定二次型函数转载 2015-06-16 16:41:27 · 1130 阅读 · 0 评论 -
拟牛顿法/Quasi-Newton,DFP算法/Davidon-Fletcher-Powell,及BFGS算法/Broyden-Fletcher-Goldfarb-Shanno
转自:http://www.codelast.com/?p=2780在最优化领域,有几个你绝对不能忽略的关键词:拟牛顿、DFP、BFGS。名字很怪,但是非常著名。下面会依次地说明它们分别“是什么”,“有什么用” 以及 “怎么来的”。但是在进入正文之前,还是要先提到一个概念上的区别,否则将影响大家的理解:其实DFP算法、BFGS算法都属于拟牛顿法,即,DFP、BFGS都分别是一种转载 2015-06-17 14:35:44 · 2245 阅读 · 0 评论 -
再谈 共轭方向法/Conjugate Direction Method In Optimization
转自:http://www.codelast.com/?p=8095共轭方向法是介于最速下降法和牛顿法之间的一种存在——它的收敛速度(二阶收敛)比最速下降法(线性收敛)快,同时它的计算量又比牛顿法要小,因此它的存在是有意义的。需要注意,共轭方向法可以不使用目标函数的一阶导数信息(当然也可以使用)。所以,如果目标函数的一阶导数不容易求的话,共轭方向法可能就可以派上用场了。共轭转载 2015-06-17 14:24:10 · 5086 阅读 · 0 评论 -
牛顿法
转自:http://blog.csdn.net/luoleicn/article/details/6527049平时经常看到牛顿法怎样怎样,一直不得要领,今天下午查了一下维基百科,写写我的认识,很多地方是直观理解,并没有严谨的证明。在我看来,牛顿法至少有两个应用方向,1、求方程的根,2、最优化。牛顿法涉及到方程求导,下面的讨论均是在连续可微的前提下讨论。 1、求解方程。转载 2015-06-17 10:40:06 · 679 阅读 · 0 评论 -
几种常用的优化方法
1. 前言熟悉机器学习的童鞋都知道,优化方法是其中一个非常重要的话题,最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单,coding 方便,是训练模型的必备利器之一。 2. 几个数学概念1) 梯度(一阶导数)考虑一座在 (x1, x2) 点高度是 f(x1, x2) 的山。那么,某一点的梯度方向是在该点坡度最陡的方向,而梯度的大小告诉我们坡转载 2015-06-17 15:10:09 · 12774 阅读 · 0 评论 -
再谈 牛顿法/Newton's Method In Optimization
转自:http://www.codelast.com/?p=8052牛顿法是最优化领域的经典算法,它在寻优的过程中,使用了目标函数的二阶导数信息,具体说来就是:用迭代点的梯度和二阶导数对目标函数进行二次逼近,把二次函数的极小点作为新的迭代点,不断重复此过程,直到找到最优点。『1』历史话说,牛顿法为什么叫牛顿法?这个近乎“废话”的问题,谁又真正查过?Wiki里是这样写的:转载 2015-06-17 14:28:47 · 3035 阅读 · 0 评论 -
拉格朗日乘子法和KKT条件
转自:http://www.cnblogs.com/zhangchaoyang/articles/2726873.html拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法,在有等式约束时使用拉格朗日乘子法,在有不等约束时使用KKT条件。前提是:只有当目标函数为凸函数时,使用这两种方法才保证求得的是最转载 2015-06-15 18:11:16 · 784 阅读 · 0 评论 -
最速下降法/steepest descent,牛顿法/newton,共轭方向法/conjugate direction,共轭梯度法/conjugate gradient 及其他
转自:http://www.codelast.com/?p=2573在最优化的领域中,这“法”那“法”无穷多,而且还“长得像”——名字相似的多,有时让人觉得很迷惑。在自变量为一维的情况下,也就是自变量可以视为一个标量,此时,一个实数就可以代表它了,这个时候,如果要改变自变量的值,则其要么减小,要么增加,也就是“非左即右“,所以,说到“自变量在某个方向上移动”这个概念的时候,它并转载 2015-06-17 14:18:40 · 1997 阅读 · 0 评论 -
conjugate gradient method (共轭梯度法)
转自:http://blog.csdn.net/u010922186/article/details/43852707共轭梯度法(Conjugate Gradient)是介于最速下降法与牛顿法之间的一个方法,它仅需利用一阶导数信息,但克服了最速下降法收敛慢的缺点,又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点,共轭梯度法不仅是解决大型线性方程组最有用的方法之一,也是解大型非线性转载 2015-06-17 13:12:14 · 2612 阅读 · 0 评论 -
再谈 最速下降法/梯度法/Steepest Descent
转自:http://www.codelast.com/?p=8006最速下降法(又称梯度法,或Steepest Descent),是无约束最优化领域中最简单的算法,单独就这种算法来看,属于早就“过时”了的一种算法。但是,它的理念是其他某些算法的组成部分,或者说是在其他某些算法中,也有最速下降法的“影子”。因此,我们还是有必要学习一下的。我很久以前已经写过一篇关于最速下降法的文章了,转载 2015-06-17 14:26:59 · 1973 阅读 · 0 评论 -
梯度下降与随机梯度下降
梯度下降法先随机给出参数的一组值,然后更新参数,使每次更新后的结构都能够让损失函数变小,最终达到最小即可。在梯度下降法中,目标函数其实可以看做是参数的函数,因为给出了样本输入和输出值后,目标函数就只剩下参数部分了,这时可以把参数看做是自变量,则目标函数变成参数的函数了。梯度下降每次都是更新每个参数,且每个参数更新的形式是一样的,即用前一次该参数的值减掉学习率和目标函数对该参数的偏导数(如果只有1个原创 2015-04-03 16:35:02 · 8471 阅读 · 4 评论