论文分享 | Yann LeCun 联合发布、工程师都在读的自监督学习论文

文章导读

本期文章中，我们为大家带来了 3 篇自监督学习的相关论文，其中两篇是由卷积网络之父 Yann LeCun 参与发布。

对于大型机器视觉训练任务而言，自监督学习 (Self-supervised learning，简称 SSL) 与有监督方法的效果越来越难分伯仲。

其中，自监督学习是指利用辅助任务 (pretext)，从大规模的无监督数据中，挖掘自身的监督信息来提高学习表征的质量，通过这种构造监督信息对网络进行训练，从而学习对下游任务有价值的表征。

本文将围绕自监督学习，分享 3 篇论文，以期提高大家对自监督学习的认识和理解。

Barlow Twins：基于冗余减少的 SSL

题目：

Barlow Twins: Self-Supervised Learning via Redundancy Reduction

作者：

Jure Zbontar, Li Jing, Ishan Misra, Yann LeCun, Stephane Deny

对于自监督学习方法而言，一个非常受用的方法就是学习嵌入向量 (embedding)，因为它不受输入样本失真的影响。

但是这种方法也存在一个无法避免的问题：trivial constant solution。目前大多数方法都试图通过在实现细节上下功夫，来规避 trivial constant solution 的出现。

本篇论文中，作者提出了一个目标函数，通过测量两个相同网络的输出（使用失真样本）之间的互相关矩阵，使其尽可能地接近单位矩阵 (identity matrix)，从而避免崩溃 (collapse) 的发生。

这使得样本（失真）的嵌入向量变得相似，同时也会使这些向量组件 (component) 之间的冗余最少。该方法被称为 Barlow Twins。

Barlow Twins 原理示意图

Barlow Twins 无需 large batches，也不需要 network twins 之间具有不对称性（如 pradictor network、gradient stopping 等），这得益于非常高维的输出向量。</