文章目录
前言
这篇文章是何凯明老师团队的文章,作者发现SimCLR一文中提到的trick在MoCo上依然有效。
关于MoCo,可以浏览我的上一篇文章:链接
具体而言
- encoder的输出会经过一个线性fc层处理,将该fc层替换为SimCLR中的两层MLP(隐藏层为2048维,使用ReLU激活函数)具体性能如下图所示
T T T为InfoNCE中的温度超参数,一个简单的替换操作就可以将性能提升最多6%,确实很让人惊讶。 - 使用SimCLR中的模糊数据增强,SimCLR中的color distortion数据增强会损害MoCo的性能。
对比学习完毕后,MoCo V2在图像分类、目标检测上的性能如下图
看来对于对比学习而言,一些trick操作可以很大程度提升模型性能。