优化理论
文章平均质量分 78
chenzhijay
这个作者很懒,什么都没留下…
展开
-
机器学习的优化算法概述
机器学习的问题最终都会归结为对一个优化问题进行求解,而优化问题可以分为无约束优化问题和有约束优化问题。有约束的优化问题是指对于目标函数中的变量有显式约束条件的,比如0<=x<=100。无约束优化问题是指对于目标函数的变量没有显式约束的,或者说可以将约束转化成目标函数的惩罚项的,比如说正则化项。大多数机器学习问题最终都要解一个无约束的优化问题,因此本文主要对无约束优化问题及其优化算法做一个概述。下文提到的优化问题都指无约束优化问题。提到优化问题,自然就要知道优化算法。原创 2014-11-13 19:42:58 · 3273 阅读 · 2 评论 -
机器学习优化算法—L-BFGS
L-BFGS算法由于其高效的性能而被广泛运用在实际工程中,本文首先介绍L-BFGS算法和其它算法的比较,然后详细介绍该算法的主要思想以及每一步迭代时近似矩阵的更新细节。原创 2014-11-27 09:53:21 · 12393 阅读 · 4 评论