稀疏与冗余表示---初级篇

最近进展很不顺利。sparserepresentation在图像上已经被证明在多个应用上具有惊人的效果。而最近尝试在基因数据集上进行的实验效果却非常差。以至于我认为这个东西可能就不适合基因数据集。已经有些放弃的念头了，但想了想不搞这个还能搞啥。况且即便不适合基因数据集，也找不到不适合的理由，只能一直假设实验做得还不够充分。
 

    同实验室的其他人在图像或视频上的实验，一试一个准，文章都一个接一个。而我人品固然不好，加上可能运气有点差，一直在失败中徘徊。看了下面转载的这篇文章，感到做研究还是得沉得住气的，不能急功近利。这篇文章没有任何实质性的内容，就是一个杂谈而已，但符合一般的研究过程。
_________________________________________________________________________________________________
      以下内容转自蔡老师的QQ空间(转自夏茂庚的博客(转自zyggg22的个人博客http://bbs.sciencenet.cn/home.php?mod=space&uid=524577))

从刚进实验室说起

经过一年的理论学习，我从研究生院回到实验室里面，当时导师给我一个词(不算是研究方向吧)：压缩感知（CompressiveSensing，CS）。我就自己上网上搜这方面的论文，我打印了其中的一篇文章：CompressedSensing[1]。这是D.Donoho写的，在研究生院上小波课的时候听过这个牛人，我就开始拜读这篇论文，一共三十多页，从开始到读完我就一个想法：放弃。当时的我具有的数学背景现在想想有高数、线性代数和矩阵论。这是第一次从课本移到学术论文上面，完全不知这篇论文在说些什么，里面全是定理-证明-定理，我开始怀疑：这个图像处理有关吗？冈萨雷斯书好像不是这样的？我刚怎么办？后来我还是硬着头皮去找资料，包括相关中文论文，很多学者的ppt，还有CS的应用方面的文章。经过一段时间的学习我感觉很费劲，唯一的进步可能是我把满脑子的“图像”变成了“signal”，我依然不知道了那些论文中一大段一大段的推导到底是什么。范数，线性代数，线性规划，凸优化等等，这些词我渐渐了解了，不过对于论文中的数学推导和定理我依然不知所云。 

 

到实际的算法 

 

虽然我不明白大多数论文中的数学推导，不过我知道这些论文到最后都会提一些优化问题，例如：min norm_l0(),minnorm_l1(),紧接着是解这些问题的一些算法以及对应的软件包。并且还有很多应用中都会把这些优化问题用到实际的应用中，我也下载了很多软件包[2]，如：l1-magic，GPSR，Sparselab等等，我运行了里面的例子，有一维和二维信号处理的例子，我分析这些例子我知道了这么使用这些软件包，不够里面的函数我只知道解这些优化问题的，怎么解我依旧不知。 

 

字典、凸优化 

 

随着对CS的学习，虽然没有很好的理解，不够我慢慢了解到了：字典，稀疏表示，凸优化这些名词，我感兴趣的是优化问题b=Ax中的A，慢慢认识到A可以是具体的变换（DCT,FFT,Wavelet等），也可以是采样过程，也可以字典。对x的认识也更有改变，它可以是变换系数，表示，在CS中也可以是原始信号等等。在实际的应用中，我也慢慢可以读懂了一些实际的算法。至此，我初步懂得了数学理论-模型-问题-算法-应用这些东西，可是不够系统，并且很杂很乱。 

 

稀疏与冗余表示 

 

在CS中一个假设是信号在某种基、框架或者冗余字典下具有稀疏表示。然后很多问题就变成了求解稀疏表示，然后重建原始信号。我现在已经有了一些求minnorm_l0(),minnorm_l1()问题的软件包（虽然我对里面的优化算法还是没有理解），我开始看一些具体的应用，如，去噪，重建等等。我不知不觉的看了一些基于稀疏表示的一些应用，我开始考虑冗余字典到底是什么，怎么样得到冗余字典。脑子里面这些问题促使我又去查资料，我在网上找到了一本书：《Sparseand Redundant Representations---From Theory to Application inSignal and Image Processing》[3]，作者是MichaelElad，这本书吸引我的并不是其中主要知识，而是其中关于应用的一章The Quest for aDictionary，因为此时我整个人的状太是很乱的，逮着什么看什么，完全不系统，没有体系。就这样我开始阅读这本书，从开始很使劲的看前几章得理论知识，多少是定理和推导，很多时候我是硬着头皮去看的，尽管很多推导我是能理解的，我还是依然不知所云。 

 

最后，一直看到应用的部分，我回头想来发现理论部分的推导和算法完全是针对min norm_l0(),minnorm_l1()问题的，后面的应用也是把实际的应用问题变换为优化问题，我朦朦胧胧还想了解点什么了，直到最后我发现M.Elad把所有的应用问题归结为Sparse-Land模型，我好像对模型与应用有点感觉，但是说不出来个什么。所以我又把这本书读了一遍，很多问题理解的更加深刻了，虽然现在我脑子里还没有一个很系统的框架或者认识。 

 

结论  

进过这么长时间的学习，原先的CS学习没有什么大的进展，已经很久没有看相关论文了。不过这几个月对Sparse-Representation的学习确实收获了一些东西：   

1从对冈萨雷斯课本的学习转移到对论文的学习，也就是看到了怎样去学习一个模型，学习这个模型解决什么样的问题以及背后的数学理论，然后看别人怎么把一个实际的应用转换成该模型可以解决的问题，别提出相应的算法。 

2从朦胧的使用别人的软件包到学习别人怎么同学数学推导提出一个解决优化问题的算法（算法的收敛性保证，推导等等）。   

3明白了自己缺少那些数学知识，如：线性规划，凸优化等等。 

 

 

*万事开头难，或许我还没有入门呢，不过我先暂定为---初级篇吧。

注：   

[1]D.L.Donoho, Commpressed Sensing. IEEE Trans. on Information Theory,52(4):1289 - 1306, 2006.   

[2]  http://dsp.rice.edu/cs
              [3]  http://www.cs.technion.ac.il/~elad/
__________________________________________________________________________________________________
转载完了。

顺便给一个上文中提到的 Elad 的那本书的一个下载地址。
http://ishare.iask.sina.com.cn/f/17595824.html?w=