【First-order Methods】 Summary

1、Vector Spaces

主要介绍一些空间、集合、范数等基本概念

2、Extended Real-Valued Functions

主要介绍增广实值函数的一些基本性质定义，如domain、下半连续性、闭性、水平集等等

3、Subgradients

     Subgradients 补充

主要介绍什么是次梯度、次微分集合的性质、什么情况称为次可微；什么是方向导数、方向导数如何与次梯度联系；什么是（可微）梯度、（可微）梯度与方向导数的联系、（可微）梯度与次梯度的联系等等

4、Conjugate Functions

主要介绍什么是共轭函数、Fenchel‘s不等式、复共轭函数、共轭次梯度定理等等

5、Smoothness and Strong Convexity

主要介绍L光滑、强凸的定义及两者之间的关系-共轭对应理论；（两者的一些引理和性质的符号是相反的）等等

6、The Proximal Operator

主要介绍什么是邻近算子、投影算子和邻近算子的关系、第一临近定理、第一投影定理、第二临近定理、第二投影定理；

各个定理的证明、邻近算子 投影算子的非扩张性、Moreau分解的证明等等

1-7章主要讲基本的常见的知识点，第8章及之后将介绍具体问题中的方法、算法

8、Primal and Dual Projected Subgradient Methods

主要介绍投影次梯度算法的算法流程、下降公式

• Polyak步长下的     的收敛性 收敛率； 

保证收敛的一般性步长条件、依次条件下和的收敛率、改造条件后的收敛率提升；

强凸条件下和的收敛率（此时步长重新构造）；

• 针对可分函数中投影次梯度算法的算法流程、下降公式；

  收敛性，在C为紧时的收敛速度.

• 针对对偶问题的算法流程、收敛性分析及在具体如线性规划等例子中的应用

9、Mirror Descent

主要介绍投影次梯度算法在非欧空间的推广

10、The Proximal Gradient Method

如下问题形式

利用临近梯度算法求解、分非凸/凸两种情况分别讨论下降性、收敛率等问题

11、

问题形式：

主要利用临近梯度算法求解

12、

13、

14、

15、