【First-order Methods】 9 Mirror Descent

目录

1  From Projected Subgradient to Mirror Descent

2  Convergence Analysis

2.3  Dynamic Stepsize Rule

3  Mirror Descent for the Composite Model

---

镜像下降方法  是投影次梯度方法在非欧空间的推广

1  From Projected Subgradient to Mirror Descent

非欧空间中，与在不同空间。我们从以下迭代式来理解欧氏空间在投影次梯度方法中的作用：

上两式在欧氏空间中由下式可知其等价：

由于不在欧氏空间内讨论，欧氏范数自然不存在，由此定义新的距离：

Bregman距离不是真正意义上的距离，对于距离定义的三个性质，只满足非负性，对称性及三角不等式都不满足。

---

将欧氏距离替换为Bregman距离

2  Convergence Analysis

2.3  Dynamic Stepsize Rule

---

3  Mirror Descent for the Composite Model

 

8、9章学习了投影次梯度方法及其在非欧空间的推广