【UMB博士论文】走向无监督表征学习：学习、评估与迁移视觉表示

来源：专知
本文为论文介绍，建议阅读5分钟
在这篇论文中，我们从三个角度为无监督（视觉）表征学习领域做出贡献。

无监督表征学习的目标是寻找一种方法，能够在没有注释信号的情况下从数据中学习表征。避免使用注释不仅带来经济效益，而且在一定程度上已经证明，对于表征的结构、鲁棒性和对不同任务的泛化能力方面，可以带来优势。从长远来看，由于减少了人为干预和更一般的设置，不会使优化偏向于特定注释信号的目标，无监督方法有望超越监督方法。尽管在自然语言处理中最近观察到无监督表征学习的主要优势，但在视觉领域，对于大多数任务，监督方法仍然占据主导地位。在这篇论文中，我们从三个角度为无监督（视觉）表征学习领域做出贡献：（一）学习表征：我们设计了无需反向传播的无监督卷积自组织神经网络（CSNN），它们利用自组织和Hebbian学习规则来学习卷积核和掩码，以实现更深的无需反向传播的模型。因此，我们观察到基于反向传播和非反向传播的方法可能会因无监督预处理任务和目标任务之间的目标函数不匹配而受损。这种不匹配可能导致目标任务的性能下降。（二）评估表征：我们基于广泛使用的（非）线性评估协议，定义了与预处理和目标目标无关的度量，用于衡量目标函数的不匹配。借助这些度量，我们评估了各种预处理和目标任务，并揭示了目标函数不匹配与训练和模型设置不同部分之间的依赖关系。（三）转移表征：我们贡献了CARLANE，首个针对2D车道检测的三向模拟至真实领域适应基准。我们采用了几种众所周知的无监督领域适应方法作为基准，并提出了一种基于原型跨域自监着学习的方法。最后，我们专注于基于像素的无监督领域适应，并贡献了一种内容一致的非配对图像到图像的转换方法，该方法利用掩码、全局和局部鉴别器以及相似性采样来缓解内容不一致，以及特征注意力去归一化，将基于内容的统计信息融合到生成器流中。此外，我们提出了cKVD度量，将特定类别的内容不一致纳入到感知度量中，用于衡量转换质量。