最优化
文章平均质量分 88
JN_rainbow
这个作者很懒,什么都没留下…
展开
-
牛顿法与拟牛顿法
牛顿法和拟牛顿法是求解无约束最优化的常用方法,有收敛速度快的优点. 牛顿法属于迭代算法,每一步需要求解目标函数的海赛矩阵的逆矩阵,计算复杂. 拟牛顿法通过正定矩阵近似海赛矩阵的逆矩阵,简化了这个过程.牛顿法对于无约束优化minx∈Rnf(x)\min_{x\in R^n} f(x)x∈Rnminf(x)x∗x^*x∗是目标的极小值点.假设f(x)f(x)f(x)有二阶连续偏导数...原创 2018-12-02 18:03:06 · 810 阅读 · 0 评论 -
拉格朗日对偶性
拉格朗日对偶性在机器学习中,我们经常会遇到给定某些约束条件求解某个函数最大值或最小值的情况,称之为约束最优化,通常的做法是利用拉格朗日对偶性将原始问题转化为对偶问题,通过解对偶问题进而得到原始问题的解. 在机器学习的很多方法中都有用到此方法,如最大熵模型和SVM.原始问题我们假设f(x),ci(x),h(x)f(x),c_i(x),h_(x)f(x),ci(x),h(x)是定义在RnR^...原创 2018-11-28 17:00:33 · 534 阅读 · 0 评论