数值优化 pdf_基于梯度的优化：投影梯度和牛顿法

投影梯度法是求解带有简单约束的连续优化算法，主要是求解

，其中

是凸集。它的基本想法是先沿着下降方向走一步，再判断是否在可行域里，具体迭代公式如下：

投影保证了每次产生的

都在可行域中，而且向凸集的投影是唯一的。

更多关于投影梯度的理论与算法，不妨看看何炳生教授的讲义Professor Bingsheng He。

在投影容易计算时，步长

的选择严重影响收敛速度，在何教授的讲义里有数值算例。

它也是一种不动点迭代 ,也就是说下一步迭代只与当前步的迭代点有关，与其他迭代点无关：

将Anderson加速应用到该方法上，也应该会有加速的效果。

在下降步里，没有必要非梯度下降不可，将其替换为牛顿法，就得到了投影牛顿法:

；

在投影步里，选择哪种范数或距离，也应该以便于计算为准则。镜像梯度，就是以Bregman散度替换

，在某些情况下理论上比欧几里得范数的平方要好，比如镜像梯度法( mirror gradient method)。

结合两者的优点， 可以得到一种广义投影梯度法：

。

http://suvrit.de/papers/sksChap.pdf​suvrit.de http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.56.4770&rep=rep1&type=pdf​citeseerx.ist.psu.edu