最优化理论
文章平均质量分 72
zCGr_GzGy
这个作者很懒,什么都没留下…
展开
-
最优化理论学习笔记_1(精确线性搜索)
由于机器学习领域充斥着各种各样的优化问题,早就想系统的学习优化理论了,借着这学期选择了最优化理论的课程,就认真的学习一下吧!最优化理论通常研究如下问题,引用wiki的定义:通俗的理解,就是求解在各种约束下函数的最值问题。线性搜索在利用迭代的方法解决无约束优化问题时,其中第k步迭代的公式是:而所谓的线性搜索的方法,就是指的是在迭代方向已知的情况下,求解原创 2013-09-18 20:55:50 · 12833 阅读 · 2 评论 -
最优化理论学习笔记_2(非精确线性搜索)
当优化函数的维度n非常大或者f(x)非常复杂的时候,精确线性搜索的计算量是非常大的,并且在离最优解尚远的时候,并没有做精确线性搜索的必要。这使得我们不得不考虑非精确线性搜索。非精确线性搜索:如果我们不适用精确线性搜索的话,我们要如何选择步长呢?取步长alpha使得下式成立是否可以呢?f(x_k+alpha_k*d_k)有例子告诉我们,这个准则未必行得通。优化问题 min原创 2013-09-26 19:36:07 · 5909 阅读 · 1 评论