Video Rain Streak Removal By Multiscale Convolutional Sparse Coding 雨景分离

1 获取背景B：背景检测方法（低秩矩阵分解）（Rubost PCA）

当Ｅ为稀疏的大噪声矩阵时，同时引入折中因此，此问题可转化为如下优化问题： 
 
上式中秩函数、0范数均非凸，变成了NP-hard问题，需要对其松弛，方可进行优化。由范数知识可知，核范数是秩函数的凸包，1范数是0范数的凸包，所以上述NP-hard问题松弛后可转化凸优化问题： 

2 获得目标二值图H：图像分割（graph cut）

就是图像分类（类间最大，类内最小）

分块平滑意味着两个方面：这些量在块的内部变化平滑，在块与块之间（物体边界）变化很大。对每一个像素点 p∈Pp∈P 我们都需要给定一个标签（label）fp∈Lfp∈L，也就是将每个像素映射到标签集中的某个标签上，这里标签函数（映射） ff 不仅需要满足分块平滑的特点而且需要和观测到的数据一致。 
基于以上想法，这些视觉问题就可以表达成以下寻找标签函数 ff 以求能量最小化的形式： 

E(f)=Esmooth    (f)+Edata  (f),

在这里  Esmooth(f)Esmooth(f)  表达的是  ff  分块不平滑的程度， Edata(f)Edata(f)  表达的是标签函数  ff  与观测到数据的不一致性。 Edata(f)

Edata(f) 的一般形式是：

                                                                      Edata(f)=∑p∈PDp(fp),

其中  DpDp  来度量标签与观测数据的一致性，例如在图像恢复中  Dp(fp)=(fp−ip)2Dp(fp)=(fp−ip)2  ，其中  ipip  表示在像素点  pp  处的灰度值，在这里  Edata(f)Edata(f)  并不是重点。 
平滑项 EsmoothEsmooth 才是关键所在 。为了在边界处得到较好的效果，我们选择一种“非连续性保留”(discontinuity-preserving) 函数（参考分块平滑两项性质）。 
由于能量最小化是非凸优化问题，具有很多局部极小值，并且解空间有  |P||P|  维，因此解这种能量最小化问题最大的障碍就是巨大的搜索空间。模拟退化法可以优化任意能量函数，但是通常计算非常缓慢。 

在这篇文章中主要考虑的平滑项具有以下形式： 

                                                                                 Esmoot  =∑{p,q}∈NVp,q  (fp,fq),

这里  NN  表示的是相邻的像素对集合。 Vp,q(fp,fq)Vp,q(fp,fq)  表示像素对  {p,q}{p,q}  在标签函数  ff  下生成的标签  (fp,fq)(fp,fq)  之间的距离（相似度、平滑程度）。在某些特殊情况下这种能量形式是能够精确的最优化，这里不展开，一般来说，这个问题是 NP 难问题。

未完待续。。。