16[NLP训练营]L-Lipschit定理和GD收敛证明

公式输入请参考： 在线Latex公式

定理1

一个光滑函数（smooth function）f满足L-Lipschitz条件，则对于任意$x,y\in R^d$，我们有：
$$||▽f(x)-▽f(y)||\le L||x-y||\text{\hspace{1em}(定理1)}$$
这里的L是常数。
用线性回归为例，先写出线性回归的损失函数：
$$L=\frac{1}{n}||Xw-y|{|}^2$$
这里X是训练数据，w是参数
现在求：
$$\begin{array}{rl}||▽f(x)-▽f(y)||& =||▽f(w_1)-▽f(w_2)||\\ & =\frac{2}{n}||X^T(X{w}_1-y)-X^T(X{w}_2-y)||\\ & =\frac{2}{n}||X^{T}X(w_1-w_2)||\\ & \le \frac{2}{n}||X^{T}X||\cdot ||(w_1-w_2)||\end{array}$$
由于X是训练数据，是已知的。所以$||X^{T}X||$相当于L-Lipschitz中的常数项L。

定理2

一个光滑函数（smooth function）$f(x)$满足L-Lipschitz条件，并且是凸函数，则对于任意$x,y\in R^d$，我们有：
$$f(y)\le f(x)+▽f(x)(y-x)+\frac{L}{2}||y-x|{|}^2\text{\hspace{1em}(定理2)}$$
这里的L是常数。
证明：
根据积分的性质有：
$$h(x):h(1)=h(0)+{\int }_0^1{h}^{\prime }(\tau )d\tau \text{\hspace{1em}(1)}$$
自己定义(为什么要这样定义不知道)：
$$h(\tau )=f(x+\tau (y-x))$$
然后有：
$$h(1)=f(y),h(0)=f(x)\text{\hspace{1em}(2)}$$
把公式2带入上面公式1：
$$f(y)=f(x)+{\int }_0^1{h}^{\prime }(\tau )d\tau$$
把求导看做是复合函数求导即可：

$$f(y)=f(x)+{\int }_0^1▽f(x+\tau (y-x))(y-x)d\tau$$
加一项$▽f(x)(y-x)$，积分里面减一项$▽f(x)(y-x)$
$$f(y)=f(x)+▽f(x)(y-x)+{\int }_0^1(▽f(x+\tau (y-x))-▽f(x))(y-x)d\tau$$
根据前面的定理1，处理一下积分这一项：
$$\begin{gathered} f(y)=f(x)+▽f(x)(y-x)+{\int }_0^1(▽f(x+\tau (y-x))-▽f(x))(y-x)d\tau \\ \le f(x)+▽f(x)(y-x)+{\int }_0^{1}L||\tau (y-x)||||y-x||d\tau \end{gathered}$$
后面那个$||y-x||$是根据$ab\le |a||b|$性质得到的，化简，积分后得：
$$f(y)\le f(x)+▽f(x)(y-x)+\frac{L}{2}||y-x|{|}^2$$
上面${\int }_0^1\tau d\tau =\frac{1}{2}$，$y-x$和积分无关可以放积分号外面。证明完毕。

推论1

根据定理2，把$f(x_{i+1})$看做$f(y)$，把$f(x_i)$看做$f(x)$：
$$f(x_{i+1})\le f(x_i)+▽f(x_i)(x_{i+1}-x_i)+\frac{L}{2}||x_{i+1}-x_i|{|}^2$$
由于：
$$\begin{gathered} f(x_{i+1})=f(x_i)-{\eta }_t▽f(x_i)\to f(x_{i+1})-f(x_i) \\ =-{\eta }_t▽f(x_i) \end{gathered}$$
所以有：
$$f(x_{i+1})\le f(x_i)+▽f(x_i)(-1){\eta }_t▽f(x_i)+\frac{L}{2}{\eta }_t^2▽f(x_i{)}^2$$
$$f(x_{i+1})\le f(x_i)-{\eta }_t||▽f(x_i)|{|}^2+\frac{L{\eta }_t^2}{2}||▽f(x_i)|{|}^2$$
$$f(x_{i+1})\le f(x_i)-{\eta }_t(1-\frac{L{\eta }_t}{2})||▽f(x_i)|{|}^2\text{\hspace{1em}(3)}$$

---

补充说明：Convergence Analysis of Gradient Descent

迭代式的梯度下降的迭代次数的收敛分析
定理
假设函数满足L-Lipschitz条件（条件1），并且是凸函数（条件2），设定$x^{\ast }=arg\min f(x)$，那么对于步长${\eta }_t\le \frac{1}{L}$（L是常数），满足：
$$.$$
$$f(x_k)\le f(x^{\ast })+\frac{||x_0-x^{\ast }|{|}_2^2}{2{\eta }_{t}k}$$
当我们迭代$k=\frac{L||x_0-x^{\ast }|{|}_2^2}{\epsilon }$次之后我们可以保证得到$\epsilon$ approximation optimal value $x$。(${\eta }_t=\frac{1}{L}$)
$x_k$是第k次迭代的x值。$x_k$慢慢接近$x^{\ast }$也就是说不等式右边的最后一项是随着k变大慢慢变小的，如果变小的速度快，收敛速度就快。例如：

B方案的收敛速度比A要慢（A方案要好）。

继续分析$\frac{||x_0-x^{\ast }|{|}_2^2}{2{\eta }_{t}k}$，$x_0$是不变的，$x^{\ast }$是最优解也是不变的，也就是分子是不变的；分母中$2{\eta }_t$也是不变的，所以整个这一项随着k的变大慢慢变小。

而$k=\frac{L||x_0-x^{\ast }|{|}_2^2}{\epsilon }$，相当于我们得到一个$\epsilon$的估计值，把这个带入上面：

$$\frac{||x_0-x^{\ast }|{|}_2^2}{2{\eta }_{t}k}=\frac{||x_0-x^{\ast }|{|}_2^2}{2{\eta }_t\cdot \frac{L||x_0-x^{\ast }|{|}_2^2}{\epsilon }}=\frac{\epsilon }{2{\eta }_{t}L}$$
当我们把步长设置为：${\eta }_t=\frac{1}{L}\to L=\frac{1}{{\eta }_t}$，带入上面：
$$\frac{\epsilon }{2{\eta }_{t}L}=\frac{\epsilon }{2{\eta }_t\frac{1}{{\eta }_t}}=\frac{\epsilon }{2}$$
整理一下就是说，当$k=\frac{L||x_0-x^{\ast }|{|}_2^2}{\epsilon }$时：
$$f(x_k)\le f(x^{\ast })+\frac{\epsilon }{2}$$
也写为：
$$f(x_k)\le f(x^{\ast })+O(\epsilon )$$
当$\epsilon$很小的时候，$x_k$与$x^{\ast }$差距也很小

---

根据补充说明中的一个条件：${\eta }_t\le \frac{1}{L}$，把这个条件带入（3）：
$$\begin{gathered} f(x_{i+1})\le f(x_i)-{\eta }_t(1-\frac{L{\eta }_t}{2})||▽f(x_i)|{|}^2 \\ \le f(x_i)-{\eta }_t(1-\frac{L\frac{1}{L}}{2})||▽f(x_i)|{|}^2=f(x_i)-\frac{{\eta }_t}{2}||▽f(x_i)|{|}^2 \end{gathered}$$

推论2

根据推论1：
$$f(x_{i+1})\le f(x_i)-\frac{{\eta }_t}{2}||▽f(x_i)|{|}^2\text{\hspace{1em}(4)}$$
根据凸函数的First order convexity，（图片来源见水印https://zhuanlan.zhihu.com/p/57652786）

我们把（4）的第一项写开：
$$\begin{gathered} f(x_{i+1})\le f(x_i)-\frac{{\eta }_t}{2}||▽f(x_i)|{|}^2 \\ \le f(x^{\ast })+▽f(x_i)(x_i-x^{\ast })-\frac{{\eta }_t}{2}||▽f(x_i)|{|}^2\text{\hspace{1em}(5)} \end{gathered}$$

---

这里这个条件不知道哪里出来的，看上去像是梯度更新的公式：
$$x_{i+1}=x_i-{\eta }_t▽f(x_i)\to ▽f(x_i)=\frac{x_i-x_{i+1}}{{\eta }_t}$$
$$x_{i+1}=x_i-{\eta }_t▽f(x_i)\to {\eta }_t▽f(x_i)=x_i-x_{i+1}$$
带入（5）：

---

$$\begin{array}{rl}f(x_{i+1})& \le f(x_i)-\frac{{\eta }_t}{2}||▽f(x_i)|{|}^2\\ & \le f(x^{\ast })+\frac{x_i-x_{i+1}}{{\eta }_t}(x_i-x^{\ast })-\frac{{\eta }_t}{2}||\frac{x_i-x_{i+1}}{{\eta }_t}|{|}^2\\ & =f(x^{\ast })+\frac{x_i-x_{i+1}}{{\eta }_t}(x_i-x^{\ast })-\frac{1}{2{\eta }_t}||x_i-x_{i+1}|{|}^2\\ & =f(x^{\ast })+\frac{2(x_i^2-x_i{x}^{\ast }-x_i{x}_{i+1}+x_{i+1}{x}^{\ast })}{2{\eta }_t}-\frac{x_i^2-2x_i{x}_{i+1}+x_{i+1}^2}{2{\eta }_t}\\ & 这里通过加一项减一项，最后整合为：\\ & =f(x^{\ast })+\frac{1}{2{\eta }_t}||x_i-x^{\ast }|{|}^2-\frac{1}{2{\eta }_t}\left(||x_i-x^{\ast }|{|}^2-2{\eta }_t▽f(x_i)(x_i-x^{\ast })+||{\eta }_t▽f(x_i)|{|}^2\right)\\ & =f(x^{\ast })+\frac{1}{2{\eta }_t}||x_i-x^{\ast }|{|}^2-\frac{1}{2{\eta }_t}||x_i-x^{\ast }-{\eta }_t▽f(x_i)|{|}^2\end{array}$$

$$\begin{gathered} =f(x^{\ast })+\frac{1}{2{\eta }_t}||x_i-x^{\ast }|{|}^2-\frac{1}{2{\eta }_t}||x_{i+1}-x^{\ast }|{|}^2 \\ =f(x^{\ast })+\frac{1}{2{\eta }_t}(||x_i-x^{\ast }|{|}^2-||x_{i+1}-x^{\ast }|{|}^2) \end{gathered}$$
推论2结束，结果如下：
$$f(x_{i+1})\le f(x^{\ast })+\frac{1}{2{\eta }_t}(||x_i-x^{\ast }|{|}^2-||x_{i+1}-x^{\ast }|{|}^2)\text{\hspace{1em}(推论2)}$$

推论3

将推论2移项：
$$f(x_{i+1})-f(x^{\ast })\le \frac{1}{2{\eta }_t}(||x_i-x^{\ast }|{|}^2-||x_{i+1}-x^{\ast }|{|}^2)$$
下面考虑从$i=0$开始看：
$$f(x_1)-f(x^{\ast })\le \frac{1}{2{\eta }_t}(||x_0-x^{\ast }|{|}^2-||x_1-x^{\ast }|{|}^2)$$
$$f(x_2)-f(x^{\ast })\le \frac{1}{2{\eta }_t}(||x_1-x^{\ast }|{|}^2-||x_2-x^{\ast }|{|}^2)$$
$$f(x_3)-f(x^{\ast })\le \frac{1}{2{\eta }_t}(||x_2-x^{\ast }|{|}^2-||x_3-x^{\ast }|{|}^2)$$
以此类推：
$$f(x_k)-f(x^{\ast })\le \frac{1}{2{\eta }_t}(||x_{k-1}-x^{\ast }|{|}^2-||x_k-x^{\ast }|{|}^2)$$
如果我们把上面的不等式左右两边分开累加到一起。
$$\sum _{i=1}^{k}f(x_k)-kf(x^{\ast })\le \frac{1}{2{\eta }_t}(||x_i-x^{\ast }|{|}^2-||x_k-x^{\ast }|{|}^2)$$
右边放大一点，去掉一个平方项：
$$\sum _{i=1}^{k}f(x_k)-kf(x^{\ast })\le \frac{1}{2{\eta }_t}||x_i-x^{\ast }|{|}^2\text{\hspace{1em}(6)}$$

---

根据推论1的结论：
$$f(x_{i+1})\le f(x_i)-\frac{{\eta }_t}{2}||▽f(x_i)|{|}^2$$
以及：$\frac{{\eta }_t}{2}\ge 0$和$||▽f(x_i)|{|}^2\ge 0$两个条件可知：
$$f(x_{i+1})\le f(x_i)$$
注意：上面的式子在随机梯度下降法中是不成立的。
因此我们可以写出：
$$f(x_k)\le f(x_{k-1})\le f(x_{k-2})\le \cdots \le f(x_0)$$
根据这个，我们把(6)的左边进行缩小，就是把累加都替换为最小的$f(x_k)$：
$$kf(x_k)-kf(x^{\ast })\le \sum _{i=1}^{k}f(x_k)-kf(x^{\ast })$$

---

整理：
$$kf(x_k)-kf(x^{\ast })\le \frac{1}{2{\eta }_t}||x_i-x^{\ast }|{|}^2$$

$$f(x_k)-f(x^{\ast })\le \frac{||x_i-x^{\ast }|{|}^2}{2{\eta }_{t}k}$$
结束，上面这个式子就是补充说明里面梯度下降收敛的证明。