文章导读
本期文章中,我们为大家带来了 3 篇自监督学习的相关论文,其中两篇是由卷积网络之父 Yann LeCun 参与发布。
对于大型机器视觉训练任务而言,自监督学习 (Self-supervised learning,简称 SSL) 与有监督方法的效果越来越难分伯仲。
其中,自监督学习是指利用辅助任务 (pretext),从大规模的无监督数据中,挖掘自身的监督信息来提高学习表征的质量,通过这种构造监督信息对网络进行训练,从而学习对下游任务有价值的表征。
本文将围绕自监督学习,分享 3 篇论文,以期提高大家对自监督学习的认识和理解。
Barlow Twins:基于冗余减少的 SSL
题目:
Barlow Twins: Self-Supervised Learning via Redundancy Reduction
作者:
Jure Zbontar, Li Jing, Ishan Misra, Yann LeCun, Stephane Deny
对于自监督学习方法而言,一个非常受用的方法就是学习嵌入向量 (embedding),因为它不受输入样本失真的影响。
但是这种方法也存在一个无法避免的问题:trivial constant solution。目前大多数方法都试图通过在实现细节上下功夫,来规避 trivial constant solution 的出现。
本篇论文中,作者提出了一个目标函数,通过测量两个相同网络的输出(使用失真样本)之间的互相关矩阵,使其尽可能地接近单位矩阵 (identity matrix),从而避免崩溃 (collapse) 的发生。
这使得样本(失真)的嵌入向量变得相似,同时也会使这些向量组件 (component) 之间的冗余最少。该方法被称为 Barlow Twins。
![ec9ade390b4b871e9cf7503ed778cf2a.png](https://i-blog.csdnimg.cn/blog_migrate/9222ad3cbc7ca842714cd5fb45d8835b.png)
Barlow Twins 无需 large batches,也不需要 network twins 之间具有不对称性(如 pradictor network、gradient stopping 等),这得益于非常高维的输出向量。</