再调侃稀疏重建

原文链接：http://to-cs.blog.sohu.com/138250047.html

说起稀疏重建，就不得不说“稀疏”的度量。事实上，它的根植土壤极其的肥沃。直白来说，稀疏就是广袤无垠沙漠上({x: Ax=b})的若干匹骆驼(min|x|_1,s.t. Ax=b)，当然，如果开心，你可以用其它的比喻来描述。那么，“稀疏重建”就是有勇气走进沙漠，把这些骆驼找出来。事实上，工程人员更喜欢用“探测(detection)”这个多少有点和蔼可亲味道的字眼。所谓“探测”可以大致分为三类：第一类好比去探测外星人是否存在，是否能探测到外星人并不关键，关键的是我们曾经有这样的经历，这或许多少有点烧钱的感觉。第二类探测目标很明确，但是能否如期探测到目标只有天知道。这种探测多少来的很辛苦，就好比老美翻掘阿富汗寻找本拉登，但均无功而返。问题在什么地方呢？本拉登那个家伙会动啊，而且是不停的动, 鬼知道他下一个时刻跑什么地方去了？第三类好比靖哥哥苦觅蓉妹妹（其中假设我们把蓉妹妹固定在桃花岛的第i棵大树旁边，而且其它树旁也固定形形色色的mm），茫茫人海，但目标明确，极其烂漫惬意 (可能很多人不太同意这个观点，当然，这区别于蓦然回首，那人却在灯火阑珊处的感觉)，这才是我们关心的稀疏重建。

要在茫茫人海中寻找你的蓉妹妹，那么你，或者你使用的工具一定得具有强有力的”directivity”或分辨率，否则很多人都可能成为你的“蓉妹妹”(uncertainty)而上错花轿。用数学或物理的语言来描述，就是你的度量工具一定是“各向异性”，而不是“各向同性”。关于这一点，比较Lp(0<=p<=1)球和L2球就不难理解。在这里稍微停顿一下，罗嗦几句关于”L1”优化的一点事情。我们知道，从某个层面来讲，数学特性的不友好（nonsmooth）使其蒙上几道败笔(但是从另外一个层面，就是在这个不友好的特性下蕴涵了极具生命力的soft-threshold算法， 这是后话，暂且略过)，很多人辛辛苦苦去smooth这个满身是刺的bad boy，例如，典型的NESTA算法。呵呵，在这里再多说几句废话。如果使其度量工具具有各向异性，或者directivity的特性，我们不妨从阵列天线的角度说说。具有天线或滤波器理论背景的人均知道，放置一个点源的辐射特性是exp(jkr)/r, 其功能是在整个空间极其公平的辐射它的能量，即，l2球。如果我们按照某种规则多放置几个这样的点源，则可以形成期望的方向图，即，lp球(p<2)。当然，如果你愿意，这种”球”还具有了”reweighted”的特点，也就是说可以在不同的方向设置其不同的辐射强度。当然，这种情况下所设计的“稀疏度量”具有非常友好的数学特性，光滑，非常光滑。也或许，你可以用这种策略设计你的“稀疏正则化”函数(如果你用这个思想设计了令人满意的正则化函数，不要忘了感谢我哦，J)。

 

说完稀疏和稀疏度量，接下来说稀疏重建。哇，这是一个极其喧闹的市场，各种叫卖声此起彼伏。把我们的镜头对准基于l1约束的稀疏重建，在此框架下，其中有三类问题是颇受欢迎的，第一类就是(BP)_sig问题，即，min{norm(x,1)}, s.t., norm(Ax-b,2)<sig；第二类问题是LASSO问题，即，min{norm(Ax-b,2)}， s.t. norm(x,1)<=tao; 第三类问题是QP_lambda问题，即，min{lambda*norm(x,1)+norm(Ax-b,2)}。这三类问题在三种不同的先验信息条件下，从三个不同的角度描述了稀疏重建问题，并且在各自的分支内诞生了各自具有鲜明特征的算法。尽管如此，如此同源的三个问题自然有千丝万缕的内在关系，例如，Pareto曲线就淋漓尽致地描述了这三类问题之间的相互依存关系。综观目前的一些优秀算法，算法发展不外乎以下三种策略：第一类问题的难点是非光滑目标函数norm(x,1)，因此其核心是norm(x,1)的光滑化技术, 例如，Barrier方法，NESTA， PANS, 等。第二类问题描述了{x: Ax=b}解在norm(x,1)<=tao的投影问题，因此该问题的核心是处理L1-球的投影问题，例如，SPGL1。第三类问题的难点是数据失配和正则化项的平衡，因此其难点是lambda的选择, 如果选择了合适的lambda，那么柳暗花明又一村，norm(x,1)导数的符号分布特性给你敞开了宽阔的大门，例如，soft-threshold策略。当然，上述方法的互相嫁接也诞生了形形色色的优秀儿女.

NOTE：

第一副图来自rice大学关于compressive sensing的ppt教程，第二幅来自魏文元和宫德明编写的“天线原理”。在此一并感谢。