过完备深度子空间聚类网络：《Overcomplete Deep Subspace Clustering Networks》

• 论文：《Overcomplete Deep Subspace Clustering Networks》
• 论文原文链接：有道云笔记
• 论文讲解链接：子空间聚类入门（一）overcomplete - 知乎
• 论文详细情况：https://arxiv.org/abs/2011.08306v1
• u-net论文解释：图像分割之U-Net - 知乎
• Overcomplete 过完备;undercomplete欠完备
• 什么是过完备字典？什么是过完备字典？ - 知乎

        过完备表示：图像在过完备基下的表示比完备正交基更加稀疏，图像中的干净部分可以利用少量的非零稀疏表示系数进行线性表示，而噪声一般认为不具有稀疏性，因此可以根据它们之间的区别实现去除噪声的目的。

------------------------------------------------

        深度子空间聚类网络通过使用具有全连通层的欠完备深度自动编码器来利用自表达特性，为无监督子空间聚类问题提供了一种有效的解决方案。该方法使用输入数据的欠采样表示，这使得它不那么健壮，并且更加依赖于预训练。为了克服这一点，我们提出了一种简单而有效的替代方法——过完备深子空间聚类网络(ODSC)，其中我们使用过完备表示进行子空间聚类。在我们提出的方法中，在通过自表达层之前，我们融合来自欠完备和过完备自动编码器网络的特征，从而使我们能够提取输入数据的更有意义和健壮的表示用于聚类。在四个基准数据集上的实验结果表明，该方法在聚类误差方面优于DSC和其他聚类方法。我们的方法也不像DSC那样依赖于应该在哪里停止预训练以获得最佳性能，并且对噪声也更鲁棒。

        过完备表示[23]最初是作为信号表示的一种替代和更一般的方法引入的。它包括使用过完备基(过完备字典)，使得基函数的数量大于输入信号样本的数量。这为捕获数据结构提供了更高的灵活性，因此表现得更加健壮。从[47]中，我们可以看到过完备的自动编码器作为去噪的更好的特征提取器。

        有趣的是，在深度学习中，过完备表示的概念一直被忽视。深度学习中广泛使用的所有主要体系结构都使用通用的“编码器-解码器”体系结构，其中编码器尝试提取输入数据的abstract version ，解码器根据手头的任务学习将潜在的低维表示带回高维输出。这种通用的“编码解码器”模型是undercomplete表示的一个例子，因为与输入数据相比，潜在空间中的空间维数较少。这是在深度卷积欠采样自动编码器中完成的，其中卷积层之后是编码器中的max-pooling layers和解码器中的upsampling layer。Max-pooling 降低了feature maps的空间维度，而上采样则相反。请注意，undercomplete网络编码器的这种排列方式迫使深度网络的初始层学习低级特征，而深度层学习高级特征。这是因为在每个最大池层之后，过滤器的感受野增加了。随着感受野的增加，深层的过滤器可以访问初始图像中的更多像素，从而使它们能够学习高级特征。最近，过完备表示已经被探索用于医学图像分割[43，42]和image-deraining（图像去雨）[51]。

        在这项工作中，我们建议使用一个过完备的深度自动编码器，其中编码器将输入提升到更高的空间维度。这是通过在编码器的每个卷积层之后使用上采样层来实现的。注意，任何卷积网络的潜在表示的维数取决于网络中使用的滤波器数量和特征图大小。在[47]中，过完备全连通网络被定义为在其隐藏层中比在初始层中有更多数量的神经元用于表示的网络。类似地，在本文中，我们将过完备CNN定义为在其更深的层(空间上)将输入带到更高维度的网络。

        这里解释一下overcomplete branch的结构，三层conv2d+upsampling的组合。

作者这里提到了一个感受野与语义特征的概念，

优点：卷积网络越深层的语义特征信息是越高级的。

随之而来的：但是特征的分辨率是逐渐变小的，在这里由于感受野的大小正相关于卷积核大小，而卷积核大小基本不变，所以导致卷积网络越深层的感受野越大。

影响：因此往往丢失了一些浅层的语义信息，例如c等。

解决办法：所以这里作者增加了一个卷积+上采样的模块弥补这方面信息的丢失，使得特征更加鲁棒。

如图1，用编码器中的上采样层替换最大池层会使得更深的层比初始层学习到更多的精细细节。

这有助于在过完备网络中更好地学习更多低级信息，如边缘和其他更精细的细节。在图2中，我们可视化了在MNIST数据集上训练时欠完备和过完备网络所学习的一些特征图。我们可以观察到，与从欠完备网络中提取的特征相比，过完备网络中学习到的特征更加详细，并且能够完美地捕获边缘。此外，我们可以看到，与过完备网络相比，欠完备网络深层的特征更粗糙。事实上，由于特征尺寸较大，过完备网络深层的特征图更加精细。这些差异从卷积神经网络的角度显示了过完备表示的优越性。

Network Architecture

        在ODSC，我们建议使用两个并行训练的编码器。一种是通用编码器，在每个卷积层之后都有最大池层。另一种是过完全编码器，在每个卷积层之后都有一个上采样层。对于上采样，在研究了学习的卷积和使用双线性插值方法后，我们发现这两种方法的性能相同。因此，为了简单起见，我们选择在架构中使用双线性插值进行上采样。在潜在空间中，我们融合两种潜在的表现形式，然后将它们传递到self-expressive layer。潜在的过完备表示在与欠完备编码器的潜在表示融合之前通过最大池层。这种融合方法背后的原因是，尽管与欠完备表示相比，过完备表示对聚类更好、更有意义，但它们在空间意义上相对更大，因此我们需要在自表达层中有更多的参数来容纳它们。这使得网络的训练变得困难，因为当我们有更多数量的参数时，我们需要大量的数据来防止过度拟合。因此，使用融合，我们能够在self-expressive layer保持较少数量的参数，就像在DSC中一样，同时也能够利用Overcomplete呈现的优势。我们将这个latent空间表示传递给self-expressive layer。

        自表达层是一个完全连通的线性层，其权重对应于self-expression representation矩阵c中的系数。该层直接学习亲和矩阵。对于解码器部分，我们有一个由卷积层和上采样层组成的通用解码器。我们在这里不选择使用过完全解码器，因为它会导致更多的参数，并且对性能没有太大贡献，因为潜在表示对自表现层来说更重要。编码器和解码器中使用的卷积层数因数据集而异。我们根据每个数据集中可用的数据总数来决定。利用学习到的亲和矩阵，我们进行谱聚类得到聚类。图3说明了建议的网络架构和ODSC方法。

一.个人评价

为原有的子空间聚类的Encoder-decoder，增加了一个新模块，很容易理解，这里稍作记录。

二.总览

针对的issue：Encoder-Decoder这一个方法用于子空间聚类。

存在的不足：undercomplete branch的特征表示不够鲁棒而且很依赖于训练。

解决的手段：增加一个overcomplete branch的特征表示。

优点：更鲁棒的特征。