目录
1 From Projected Subgradient to Mirror Descent
3 Mirror Descent for the Composite Model
镜像下降方法 是投影次梯度方法在非欧空间的推广
1 From Projected Subgradient to Mirror Descent
非欧空间中,与
在不同空间。我们从以下迭代式来理解欧氏空间在投影次梯度方法中的作用:
上两式在欧氏空间中由下式可知其等价:
由于不在欧氏空间内讨论,欧氏范数自然不存在,由此定义新的距离:
Bregman距离不是真正意义上的距离,对于距离定义的三个性质,只满足非负性,对称性及三角不等式都不满足。
将欧氏距离替换为Bregman距离
2 Convergence Analysis
2.3 Dynamic Stepsize Rule
3 Mirror Descent for the Composite Model
8、9章学习了投影次梯度方法及其在非欧空间的推广