5.30总结

@总结
#1.压缩感知与CV交叉验证
《SPARSE SIGNAL RECONSTRUCTION FROM NOISY COMPRESSIVE MEASUREMENTS USING CROSS VALIDATION》《Cross Validation in Compressive Sensing and its Application of OMP-CV Algorithm》《Compressed Sensing With Cross Validation》
这三篇文章中提出并探索了在从噪声测量中重构压缩信号时模型选择的变异系数。使用噪声测量的一个小子集来执行重建验证，有可能获得类似于标准重建算法的性能，而不需要噪声参数或统计的知识。然而，在重建算法中使用额外的测量值来减少重建误差与使用这些测量值来提高最佳停止迭代的检测之间存在权衡。
CV交叉验证是一种统计技术，用于确定适当的模型顺序复杂性，从而避免模型过度拟合一组样本数据。CV首先将数据分为两个不同的集合:一个训练/估计集合，和一个测试/交叉验证集合。模型拟合算法在训练集上运行，然后在测试集上预测其性能。随着该算法估计模型的全局参数并增加模型复杂性和估计参数的准确性，在CV集合上的预测性能增加。然而，当算法开始过度拟合训练集时，它在测试集上的性能会下降。因此，模型复杂性的进一步增加是无益的，算法应该终止。具体方法为使用m个线性测量值和$mxN$的矩阵A，通过$y=Ax$来近似一个向量 $x\in R^N$。那么不以传统的方式$\bar{x}=\Delta (A,y,k,\gamma )$输入固定的重构参数值，而是将$mxN$矩阵分离为 的实现矩阵$\varphi$ 和$\psi$交叉验证矩阵 ,并且将y拆分为$y_{\varphi }$和$y_{\psi }$ 。我们使用实现矩阵$\varphi$ 和$y_{\varphi }$相应的测量值作为解码算法的输入，获得对应于输入参数$m,k,\gamma$的估计序列$\left\{\begin{array}{c}{\bar{x}}_1,{\bar{x}}_2,...,{\bar{x}}_p\end{array}\right\}$。同时，保留交叉验证矩阵$\psi$和$y_{\psi }$，根据可计算的误差项$\Vert y_{\psi }-\Psi {\bar{x}}_j{\Vert }_{l_2^N}$来估计实际误差$|x-{\bar{x}}_j{\Vert }_{l_2^N}$。通过数学公式，能说明如何根据估计的期望准确度$\epsilon$、预测的置信水平$\xi$和${\bar{x}}_j$被测量的估计的数量p，来选择交叉验证测量的数量。
进行CV交叉验证时拆分后额外测量值计算方法如下：
$$y_{c}v={\Phi }_{cv}x+n_{cv}$$$$E{n}_{cv}{n}_{cv}^T={\sigma }^{2}I{M}_{cv}$$
其中，$M_{cv}$表示附加测量的数量，${\Phi }_{cv}$表示cv测量矩阵，$n_{cv}$表示CV测量中添加的噪声。
考虑到任何用于噪声数据的迭代压缩感知重建算法，例如MP、OMP或同伦延拓/LARS。每次迭代产生一个信号估计${\bar{x}}^{(i)}$。为了能够使用交叉验证，我们通过将每次迭代包装在一个循环变量步骤中来修改循环变量重建算法，如下所示:
(1)初始化，令 $ϵ=\Vert y_{cv}{\Vert }_2,\bar{x}=0,i=1$ ，初始化估计算法。
(2)估计,执行一次估计迭代来计算${\bar{x}}^{(i)}$
(3)交叉验证，如果 $\Vert y_{cv}-{\Phi }_{cv}{\bar{x}}^{(i)}{\Vert }_2\le ϵ$，令$ϵ=\Vert y_{cv}-{\Phi }_{cv}{\bar{x}}^{(i)}{\Vert }_2$ ，停止迭代。
(4)否则，i=i+1，返回第二步。
在实际应用中文章中经过试验发现在测量的总数保持不变时，增加CV测量值的数量可以提高检测最优停止迭代的能力，增加重构测量的数量增加了对附加测量噪声的鲁棒性。下图中N = 1000, K = 50 ,${\sigma }_n=2$，$M+M_{c}v=400$

文章还使用M = 5K测量值进行重建，$M_{CV}=100$测量值进行CV验证，噪声方差${\sigma }_n=2$，信号的稀疏度从5到100不等。试验发现随着信号稀疏度的降低，CV性能接近oracle，而残差准则和oracle之间的性能差异大致不变。