数学推导2：图像处理中目标函数求解方法整理

图像处理中目标函数各式各样，很难记住相应的求解方法，本文档今天就给大家稍微整理一下，方便大家查阅。

大约7~8种，先更新一部分，码公式太累了，剩下的抽空慢慢更新吧。

说明：参看本篇博客前，请参看我的上一篇博客：矩阵求导。不然对本篇博客很难理解或者一知半解。
##第一种

1. $min\frac{1}{2}{\Vert \mathbf{X}\Vert }_{\mathbf{F}}^2+\frac{1}{2}{\Vert \mathbf{X}-\mathbf{M}\Vert }_{\mathbf{F}}^2$，已知$\mathbf{M}\in {\mathbf{R}}^{\mathbf{m}\times \mathbf{n}}$

   不难发现目标函数是凸的，肯定存在一个 X 使得目标函数有最小值。对于这种无约束、凸函数，直接采用对目标函数求导进行求解。这就是检验你矩阵求导的本领了。

   令 $\mathbf{F}=\frac{1}{2}{\Vert \mathbf{X}\Vert }_{\mathbf{F}}^2+\frac{1}{2}{\Vert \mathbf{X}-\mathbf{M}\Vert }_{\mathbf{F}}^2$，对其求导并令求导的结果等于0

   得 $\frac{\partial \mathbf{F}}{\partial \mathbf{X}}=\mathbf{X}+(\mathbf{X}-\mathbf{M})=0$

   推出：$\mathbf{X}=\frac{1}{2}\mathbf{M}$

经过上面的演示，相信大家都会这种问题的求解了。

##第二种
2. $min\lambda {\left|\mathbf{X}\right|}_1+\frac{1}{2}{\Vert \mathbf{X}-\mathbf{M}\Vert }_{\mathbf{F}}^2$，已知$\mathbf{M}\in {\mathbf{R}}^{\mathbf{m}\times \mathbf{n}}$

这个问题和第一种明显不同，含有 $L1$ 范数，就不能直接求导来解决。那该怎么求解呢？不妨从简单到一般。

假设我们新的目标函数是：

$min\lambda \left|x\right|+\frac{1}{2}(x-m{)}^2$，这是高中的数学知识，应该难不倒大家。

①当 $x⩾0$时，$f=[x-(m-\lambda )]^{{2}+\frac{1}{2}m}{2}-\frac{1}{2}(m-\lambda )^{2} $

②当 $x⩽0$时，$f=[x-(m+\lambda )]^{{2}+\frac{1}{2}m}{2}-\frac{1}{2}(m+\lambda )^{2} $

解得：$x⩾0$时，$$x=\{\begin{array}{cc}m-\lambda ,& m-\lambda ⩾0\\ 0,& m-\lambda <0\end{array}$$

解得：$x<0$时，$$x=\{\begin{array}{cc}0,& m+\lambda ⩾0\\ m+\lambda ,& m+\lambda <0\end{array}$$

综上，$$x=\{\begin{array}{cc}m-\lambda ,& m>\lambda \\ 0,& -\lambda \le m\le \lambda \\ m+\lambda ,& m<-\lambda \end{array}$$

相信有些人已经看出眉目来了，这个简单的例子就是上面目标函数中矩阵 $X$ 的任意一个元素的求解方法。
具体的来说就是：

$min\lambda {\left|\mathbf{X}\right|}_1+\frac{1}{2}{\Vert \mathbf{X}-\mathbf{M}\Vert }_{\mathbf{F}}^2$，已知$\mathbf{M}\in {\mathbf{R}}^{\mathbf{m}\times \mathbf{n}}$

$=min{\sum }_{i=1}^m{\sum }_{j=1}^n[\lambda \left|x_{ij}\right|+\frac{1}{2}(x_{ij}-m_{ij}{)}^2]$

$=min\sum \lambda \left|x_{11}\right|+\frac{1}{2}(x_{11}-m_{11}{)}^2+\lambda \left|x_{12}\right|+\frac{1}{2}(x_{12}-m_{12}{)}^2+...+\lambda \left|x_{mn}\right|+\frac{1}{2}(x_{mn}-m_{mn}{)}^2$

对任意的 $x_{ij}$ 都要取到最小值时，整个目标函数才能取得最小值。所以有：

综上，$$x_{ij}=\{\begin{array}{cc}{m}_{ij}-\lambda ,& m_{ij}>\lambda \\ 0,& -\lambda \le m_{ij}\le \lambda \\ m_{ij}+\lambda ,& m_{ij}<-\lambda \end{array}$$

那编程到底怎么弄，难不成需要循环遍历吗？其实这个地方很简单，一条 matlab 语句就实现了。

$ \mathbf{X}=max(\mathbf{M}-\lambda ,0)+min(0,\mathbf{M+\lambda })$

好了，这种类型，相信你应该会了吧。

#以下内容以后再更新吧！

##第三种

1. $min\lambda {\left|\mathbf{X}\right|}_{\ast }+\frac{1}{2}{\Vert \mathbf{X}-\mathbf{M}\Vert }_{\mathbf{F}}^2$，已知$\mathbf{M}\in {\mathbf{R}}^{\mathbf{m}\times \mathbf{n}}$

这个问题又不同了，含有核范数。那该怎么求解呢？

##第四种

1. $min\frac{\lambda }{2}{\Vert \mathbf{X}\Vert }_2^2+\frac{1}{2}{\Vert \mathbf{b}-\mathbf{A}\mathbf{X}\Vert }_2^2$

##第五种

1. $min\frac{\lambda }{2}{\Vert \mathbf{X}\Vert }_{\mathbf{F}}^2+\frac{1}{2}{\Vert \mathbf{B}-\mathbf{A}\mathbf{X}\Vert }_{\mathbf{F}}^2$

##第六种

1. $minf(x)$ , $s.t.g(x)=0$

拉格朗日或者ALM(增广拉格朗日)

##第七种
Lasso 问题，这个在子空间聚类、稀疏以及矩阵低秩相关的方向中常常遇到。

1. $min\lambda {\Vert \mathbf{X}\Vert }_1+\frac{1}{2}{\Vert \mathbf{b}-\mathbf{A}\mathbf{X}\Vert }_2^2$

有两种解法。