对比学习系列论文SDCLR（一）-Self-Damaging Contrastive Learning论文的概括

1.研究背景（研究的问题）

一切的大背景是对比学习大发展

• 1.传统深度学习当中就存在这个问题。
• 2.虽然之前的工作指出，对比学习受到长尾问题影响比较小；但是作者实验发现长尾问题可能对对比学习影响更大。
• 3.因为我们在无监督学习当中没有有效的分类标签，所以传统的解决长尾问题的方法可能并不奏效。（大约隐含的就是还是得需要我们来解决这个问题）

2.使用方法（包含解决思路）

• 1.使用传统的simCLR的结构，最后也接正常的对比损失函数。
• 2.由于剪枝很容易剪掉不经常出现的长尾数据，这样就导致我们可以借助这个特点发现长尾数据。
• 3.我们通过剪枝获得不同的模型，这个模型忘记了长尾数据，之后使用对比损失函数让他和原来的网络拉近一点。这个拉近的过程其实就无形的强化了长尾数据。