First Order Method in Optimization

这篇文章想阐述一阶优化算法，尽可能的做到全面。

• Gradient Descent Method

考虑无约束优化问题

                                                              

Gradient Descent Method 有如下迭代形式：

                                                            

这里的  为步长，不同的步长构造策略生成了不同的梯度算法，例如，

                                                   

则为最速下降法，如果

                                                  

这里的 , 这时候为BB算法。

• Proximal Point Algorithm

还是考虑无约束凸优化问题

                                                           

Proximal Point Algorithm 有如下形式：

                                                    

                                                            

                                                    

• Proximal Gradient Algorithm

考虑可分离凸问题&#x