【读论文1005】Barlow Twins: Self-Supervised Learning via Redundancy Reduction

不太相关，随便看看

Barlow Twins: Self-Supervised Learning via Redundancy Reduction

基本思想

上下两个独立的网络。相同的输入，但是输入$X_A$，$X_B$用不同的增强方式。按道理讲，这两个输出应该相同，所以它们的embedding $Z_A$，$Z_B$应该一样。就求这两个embedding的自相关矩阵。
损失函数定义为：
$$L_{BT}=\sum _i(1-C_{ii}{)}^2+\lambda \sum _i\sum _{j\ne i}{C}_{ij}^2$$
第一项表示不变的东西，第二项表示冗余的特征。

差不多就这些了