知道邻边和斜边求角度_原始对偶角度下的几类优化方法

这篇文章介绍三个方法在原始角度和对偶角度下的形式，分别为：梯度方法（gradient descent method），临近点方法（proximal point method）以及临近梯度方法（proximal gradient method），感受下对偶的魅力。主要参考的是wotao yin的slide，有兴趣的可以看他的主页

https://www.math.ucla.edu/~wotaoyin/index.html​www.math.ucla.edu

一、共轭函数（conjugate function）

定义1（共轭函数）：

接下来我们分析下共轭函数的一些性质，这将会在对偶方法中的推导起到关键的作用。因为对偶问题中目标函数就是原问题目标函数的共轭形式。所以我们要研究一下共轭函数的次梯度，以及什么情况下光滑。

在得到共轭函数次梯度前，我们需要下面这个定理：

定理1（conjugate subgradient theorem）:令函数

是convex proper and closed. 那么下面三条对任意

等价

proof. （为了完整性，我给出证明，不想看的可以跳过，记住结论就行。）

（

）由次梯度的定义，

就等价于

整理一下得到：

上式是对任意

都要满足，我们只要对右边关于

求最大即可，于是上式等价于：

等式一边成立。对于另一边

（这个叫Fenchel's inequality）

（

）因为

是proper and convex closed的（

缺一不可），它的二次共轭等于自己：

。 于是

1 可以改写为：

如果我们令

,那么

1 等价于

最后，由

1 和 2 等价得出上式