泰勒展开-常用优化实例

举例说明泰勒展开的用法，论文中经常用到这类优化方法

引入Factor Group-Sparse Regularization for Efficient
Low-Rank Matrix Recovery-NeurIPS中的supplement-公式（64）
$${\mathbf{A}}_t=\underset{\mathbf{A}}{\mathrm{argmin}}\Vert \mathbf{A}{\Vert }_{2,1}+\frac{\mu }{2}{\Vert {\mathbf{X}}_t-\mathbf{A}{\mathbf{B}}_{t-1}-{\mathbf{E}}_{t-1}+{\mu }^{-1}{\mathbf{Y}}_{t-1}\Vert }_F^2$$

要化为可求解形式 $$\Vert A{\Vert }_{2,1}+\Vert A-K{\Vert }_F^2$$ 的形式。

我们已知泰勒展开式为$$f(x)=f(x_0)+f^{(1)}(x_0)(x-x_0)+\frac{f^{(2)}(x_0)(x-x_0{)}^2}{2!}+...+\frac{f^{(n)}(x_0)(x-x_0{)}^n}{n!}$$
此时，将$$\frac{\mu }{2}{\Vert {\mathbf{X}}_t-\mathbf{A}{\mathbf{B}}_{t-1}-{\mathbf{E}}_{t-1}+{\mu }^{-1}{\mathbf{Y}}_{t-1}\Vert }_F^2$$当作$f(A)$,就有
$$f(x)=f(x_0)+f^{(1)}(x_0)(x-x_0)+\frac{f^{(2)}(x_0)(x-x_0{)}^2}{2!}+...+\frac{f^{(n)}(x_0)(x-x_0{)}^n}{n!}$$
此时，将$\frac{\mu }{2}{\Vert {\mathbf{X}}_t-\mathbf{A}{\mathbf{B}}_{t-1}-{\mathbf{E}}_{t-1}+{\mu }^{-1}{\mathbf{Y}}_{t-1}\Vert }_F^2$看作$f(A)$，有
$$f(A)=f(A_{t-1})+<Q,A-A_{t-1}>+\frac{L_t}{2}\Vert A-A_{t-1}{\Vert }_F^2$$
(最多是F范数，就停到了二阶导)
其中，Q是$f(A)$的一阶导，$L_t$满足>=Hessian矩阵（二阶导,西瓜书253页）
有$$Q=\mu (X-t-A_{t-1}{B}_{t-1}-E_{t-1}+{\mu }^{-1}{Y}_{t-1})(-B_{t-1}^T),$$
$$L_t\ge \mu \Vert B_{t-1}{\Vert }_F^2.$$

综上，有