优化算法
Titus Zhao
此处有字就不会说我很懒了!
展开
-
最优化理论与算法-ADMM的先导知识
ADMM结合了对偶更新和拉格朗日乘子的优缺点。对偶问题以凸等式约束优化问题为例:目标函数:minf(x)\min{f(x)}minf(x) subjectsubjectsubject tototo Ax=bAx=bAx=b那么它的拉格朗日函数为:L(x,λ)=f(x)+λ(Ax−b)L(x, \lambda)=f(x)+\lambda(Ax-b)L(x,λ)=f(x)+λ(Ax−b)...原创 2020-04-22 17:36:56 · 824 阅读 · 0 评论 -
最优化理论3-牛顿法
回顾在讲解牛顿法之前我们先回顾一下最速梯度下降法,泰勒展开与Hessian矩阵之间的关系。泰勒展开对于一元函数f(x)f(x)f(x),在xxx处的泰勒展开为:f(x+σ)=f(x)+f′(x)σ+12f′′(x)σ2+......f(x+\sigma)=f(x)+{f}'(x)\sigma+\frac{1}{2}{f}''(x)\sigma^2+......f(x+σ)=f(x)+f′(...原创 2020-04-09 17:08:27 · 863 阅读 · 0 评论 -
最优化理论-2-梯度下降法
梯度法分类上升与下降方向大家应该都听过最陡梯度下降法。首先,“陡”与方向有关,既然是最陡,就存在不那么“陡”的方向。在介绍最陡梯度下降法之前,先了解一下下降方向。这个时候高中学的地理知识可发挥用场了,“等高线”可以刻画一座山的大概海拔高度。在这里,等高线的中心,那个最高的地方,就是我们所要的最优值。我们如果要最快到达山顶,肯定是当前位置与山顶的连线方向距离最短。在现实生活中,如果是一座很高...原创 2020-04-06 17:26:18 · 577 阅读 · 0 评论 -
最优化理论-线搜法(Line Search Methods)
分类准确的线搜法:迭代次数确定。如二分法,插值法,黄金分割法,etc.非准确的线搜法:在一阶优化中用得较多,用于确定学习率(步长)。二分法如下图,反复交替确定上下界,终止条件是最终经过kkk次迭代后的上下界之间的距离小于预设的比较小的值:(12)k(˙xU−xL)⩽ϵ(\frac{1}{2})^k \dot (x_U-x_L) \leqslant \epsilon(21)k(˙x...原创 2020-04-06 16:36:07 · 984 阅读 · 0 评论 -
理解ADMM, ALF和Split Bregman
理解ADMM, ALM和Split Bergman引言Alternating Direction Method of MultipliersAugmented Lagrangian Multipliers小结Splitt Bregman引言在图像去模糊,低光照图像增强和去噪等任务时,我们都会引入各种先验或约束项来缓解这些t逆问题(inverse problems)的病态性(ill-posedn...原创 2020-04-03 20:39:05 · 2988 阅读 · 1 评论