深度学习领域经典论文简略总结

MoCo

动量对比学习

有n个图片，取出1个，利用这个构造正负样本，正样本为query，负样本和其他n-1个图片的特征构成key，类似于字典查询，计算q k相似度，来学习图像特征

highlight

1. queue： 移动新的mini-batch,移除旧的mini-batch

2.动量：保证momentum encoder不会随着encoder 快速改变

但凡能找到正负样本都可以当做idea

loss_fun:NCE!!!

对比学习方法：

idea：把经过对抗学习后仍然work的作为一系列正样本，不work（or噪声 巨大）+原来的作为负样本;nlp中文对比学习，打乱字的排序不影响阅读“学大一生是名我”---“我是一名大学生”

1. 预测样本与原样本CPC
2. 多视角CMC
3. 图像和对应文本CLIP
4. 数据增强（256-1）*2 InvaSpread 类似SimCLR
5. 个体判别 memorybank InstDisc
6. 知识蒸馏 teacher student 是正负样本
7. 数据增强+prejector+big batch_size
8. 做聚类eg.3000个，得到的特征和聚类中心，loss((Z_1*cluster),Z_2)，SwAV
   multi-crop：crop从大而少变成多又小 SwAV
9. BYOL：q预测与k 进行loss
10. SimSam：
11. MoCo V3：VIT