【计算机视觉】InvaSpread 讲解

任何的书写错误、排版错误、概念错误等，希望大家包含指正。

在阅读本篇之前建议先学习：
【机器学习】噪声对比估计（NCE）
【计算机视觉】MoCo 讲解
【计算机视觉】InstDis 讲解

InvaSpread

在 InvaSpread 中，负样本的个数受限于 batchsize，作者没有 TPU 所以只选取了 256 作为 batch size，最终限制了模型的性能。后续的 SimCLR 系列由 Hinton 团队提出，其中 SimCLR_v1 本质与 InvaSpread 无异，只不过 SimCLR_v1 使用了 TPU，允许更大的 batch size，一定程度上决定了它的效果要优于 InvaSpread，也比 InvaSpread 更加出名。

思想

无监督的嵌入学习与一般的无监督特征学习，最大的区别在于前者要求嵌入之间的相似性与输入图像在视觉上的相似性或类别上的关系一致。具体来说，“茶杯”和“便携水杯”属于同一类别，“蓝天”和“海洋”属于在视觉上相似，那么它们对应的嵌入向量会更加接近。一般的无监督特征学习方法的目