自学脚手架——“Data-Driven Science and Engineering” by steven L. brunton（三）

3.2 Compressed Sensing

• Compressed Sensing翻译过来为压缩感知，Terrance Tao（陶哲轩）和Emmanuel Candes其原本为了：

Interestingly, the incredibly important collaboration between Emmanuel Candès and Terrance Tao began with them discussing the odd properties of signal reconstruction at their kids’ daycare.
有趣的是，Emmanuel Candès和Terrance Tao之间极其重要的合作始于他们在孩子的日托中心讨论信号重建的奇怪特性。

之所以提到这句话，是为了不要受到书中偏重于稀疏测量影响而造成的误解，即压缩感知主要是为了在缺少大部分信息的情况下重建信号，而书中有所强调为了更少测量或者储存原始数据而稀疏测量，当然两种强调都可以。但后者更广义更容易理解。而且这个观点是与后面“Disclaimer”一节中的内容是类似的，即压缩感知在图像信息采集的过程中并不实用，这里的约束是计算量。

压缩感知可以分为感知和压缩两个过程，感知指的是测量，即数据采样：

$$\mathrm{y}=\mathrm{Cx}$$

其中$\mathrm{C}$为测量矩阵，代表着测量的方式，更确切的说是采样方式。

而压缩指的是利用采样得到的数据（虽然本身已经算是稀疏采样了）再次进行稀疏，得到稀疏矩阵$\mathrm{s}$，进而实现数据压缩，利于信息传递：

$$\mathrm{y}=\mathrm{C}\mathrm{\Psi s}=\Theta \mathrm{s}$$

显然压缩感知是结合了 randomized linear algebra（Section 1.8）和 Sparsity and Compression两个内容（Section 3.1）

值得注意的是稀疏矩阵$\mathrm{s}$的稀疏不只是说大部分值为0，还有很多很小的值，只有少数几个量的值很大。那么如果大部分值不为0但是很小是否可以？？？？？（见Figure 3.7,3.14）

• $||\cdot |{|}_0$——${\ell }_0$ pseudo-norm

求解$\mathrm{y}=\mathrm{C}\mathrm{\Psi s}=\Theta \mathrm{s}$中的$\mathrm{s}$，这个问题是一个优化问题，一般使用${\ell }_0$ pseudo-norm求解：

$$\hat{\mathrm{s}}=\underset{\mathrm{s}}{\mathrm{argmin}}||\mathrm{s}|{|}_0,\mathrm{subject}\mathrm{to}\mathrm{y}=\mathrm{C}\mathrm{\Psi s}$$

但是上述的求解需要扫遍所有的不同$K$下的$\mathrm{s}$（但是书中表述为$n$和$K$的组合，但实际上$n$是一定的，当然可能本身说的是$\mathrm{C}$或者$\Psi$的矩阵大小，其值会变化，维度为$n$），计算量较大，如果将上述公式加一个约束条件，则会减少变化量个数的自由度，即使用${\ell }_1$-minimization：

$$\hat{\mathrm{s}}=\underset{\mathrm{s}}{\mathrm{argmin}}||\mathrm{s}|{|}_1,\mathrm{subject}\mathrm{to}\mathrm{y}=\mathrm{C}\mathrm{\Psi s}$$

其中$||\cdot |{|}_1$为${\ell }_1$范数：

$$||\mathrm{s}|{|}_1=\sum _{k=1}^n|s_k|$$

使用这个优化约束条件需要满足两个条件：

1. 测量矩阵$\mathrm{C}$需要与稀疏基矩阵$\Psi$不相干，不相干指的是$\mathrm{C}$的行与$\Psi$不相关；
2. 测量数量（the number of measurements）$p$需要足够大，其数量级为：
   $$p\approx \mathcal{O}(K\log (n/K))\approx k_{1}K\log (n/K)$$
   其中$k_1$与$\mathrm{C}$和$\Psi$的相关程度有关。注意$p$为一次测量中的数据个数，原始数据维度为$n$。

• Why not Shannon-Nyquist sampling theorem?

为何随机稀疏采样可以以低于Nyquist采样频率去做采样？这个应该与其背后不同的数学理论有关，即确定的信息理论与随机信息理论，还有有无先验信息的不同，随机稀疏采样的前提，一个是可稀疏，一个是，，，，

3.6 Sparse Representation

Figure 3.14中的$\Theta$是什么？

Figure 3.14中的Flatten操作指的是把像素堆叠起来？如果是这样，则$\mathrm{y}$必须为一列吗？
Person？