Logistic Regression的Lipchitz连续梯度

Logistic Regression（逻辑回归）是机器学习中的经典任务，表示为下面一个优化问题：
$$\underset{w}{\min }f(w)$$
其中，
$$\begin{array}{rl}f(w)& =\frac{\lambda }{2}\Vert w{\Vert }^2+\frac{1}{n}\sum _{i=1}^n\ln (1+e^{-y_i{x}_i^{T}w})\\ & =\frac{\lambda }{2}\Vert w{\Vert }^2+\frac{1}{n}\sum _{i=1}^n{f}_i(w)\\ f_i(w)& =\ln (1+e^{-y_i{x}_i^{T}w})\\ \nabla f_i(w)& =-\frac{e^{-y_i{x}_i^{T}w}}{1+e^{-y_i{x}_i^{T}w}}\cdot y_i{x}_i,\end{array}$$
$x_i$，$y_i$为第$i$个数据的特征和标签
一个一阶可导函数$f_i$具有$L$-Lipschitz连续梯度（$L$-光滑）是指存在常数$L$，对任意 $a,b\in \mathrm{dom}(f)$，满足
$$\Vert \nabla f_i(a)-\nabla f_i(b)\Vert \le L\Vert a-b\Vert$$
在LR问题中，$f(w)$拥有$L$-Lipchitz连续梯度，且$L=\lambda +\frac{1}{4n}\Vert X{\Vert }_F^2$，其中$X=[x_1;x_2;\cdots ;x_n]$是数据矩阵，$\Vert \cdot {\Vert }_F$是矩阵的Frobenius范数。

证明：
$$\begin{array}{rl}\Vert \nabla f_i(a)-\nabla f_i(b)\Vert & =\Vert \frac{e^{-y_i{x}_i^{T}a}}{1+e^{-y_i{x}_i^{T}a}}-\frac{e^{-y_i{x}_i^{T}b}}{1+e^{-y_i{x}_i^{T}b}}\Vert \cdot \Vert x_i\Vert \\ & =\Vert \sigma (y_i{x}_i^{T}a)-\sigma (y_i{x}_i^{T}b)\Vert \cdot \Vert x_i\Vert \\ & \le \frac{1}{4}\Vert y_i{x}_i^T(a-b)\Vert \cdot \Vert x_i\Vert \\ & =\frac{1}{4}\Vert x_i^T(a-b)\Vert \cdot \Vert x_i\Vert \\ & \le \frac{1}{4}\Vert x_i\Vert \cdot \Vert a-b\Vert \cdot \Vert x_i\Vert \\ & =\frac{1}{4}\Vert x_i{\Vert }^2\cdot \Vert a-b\Vert ,\end{array}$$
其中sigmoid函数定义为$\sigma (z)=\frac{1}{1+e^{-z}}$，其满足Lipschitz连续性，Lipschitz常数为$\frac{1}{4}$。
取$L_i=\frac{1}{4}\Vert x_i{\Vert }^2$，则$\Vert \nabla f_i(a)-\nabla f_i(b)\Vert \le L_i\Vert a-b\Vert$，且
$$L=\lambda +\frac{1}{n}\sum _{i=1}^n{L}_i=\lambda +\frac{1}{4n}\sum _{i=1}^n\Vert x_i{\Vert }^2=\lambda +\frac{1}{4n}\Vert X{\Vert }_F^2,$$
则$\Vert \nabla f^{\prime }(a)-\nabla f^{\prime }(b)\Vert \le L\Vert a-b\Vert$

---

下面证明一个性质：$\sigma (z)=\frac{1}{1+e^{-z}}$满足Lipschitz连续性，即
$$|\sigma (z)-\sigma (z^{\prime })|\le \frac{1}{4}|z-z^{\prime }|$$

证明：连续函数一阶导数的绝对值上界就是一个Lipschitz常数。
我们有$0<\sigma (x)<1$。则
$$\begin{array}{rl}{\sigma }^{\prime }(x)=& h(x)(1-h(x))\\ |{\sigma }^{\prime }(x)|\le & \frac{1}{4}\end{array}$$