最优化
文章平均质量分 95
Modozil
这个作者很懒,什么都没留下…
展开
-
拉格朗日乘数法(等式约束和不等式约束)及KKT条件
拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法,在有等式约束时使用拉格朗日乘子法,在有不等约束时使用KKT条件。前提是:只有当目标函数为凸函数时,使用这两种方法才保证求得的是最优解。对于无约束最优化问题,有很多经典的求解方法,参见无约束最优化方法。拉格朗日乘子法先来看拉格朗日乘子法是什么,再讲为什么。minf(转载 2017-04-23 14:23:58 · 19812 阅读 · 4 评论 -
梯度下降的原理(泰勒证明)及与牛顿法的对比
转载来源于梯度下降法与牛顿法的解释与对比 - happy_lion - 博客园1 梯度下降法我们使用梯度下降法是为了求目标函数最小值f(X)对应的X,那么我们怎么求最小值点x呢?注意我们的X不一定是一维的,可以是多维的,是一个向量。我们先把f(x)进行泰勒展开: 这里的α是学习速率,是个标量,代表X变化的幅度;d表示的是单位步长,是一个矢量,有方向,单位长度为1,代表X变化的方向。什么意思呢?转载 2017-08-07 21:58:00 · 6276 阅读 · 1 评论