本文深入探讨了对比损失中的温度系数τ如何影响学习过程。对比损失能自动识别并着重处理难负样本，通过调整τ，可以控制挖掘负样本的深度。τ越小，越关注难负样本，使得表示空间更加均匀。当τ趋于0，损失函数专注于最难的样本；而τ趋于无穷大，则接近简单损失，对所有负样本权重相同。适当选择τ对于优化自监督学习的表征至关重要。
Understanding the Behaviour of Contrastive Loss (CVPR’21)
Contrastive Loss中的温度系数 τ \tau τ 是个关键参数，大部分论文都把 τ \tau τ 设置为一个小数字，这篇文章从分析温度参数 τ \tau τ 出发，分析出：
- 对比损失实际上可以自动挖掘出难负样本，因此可以学习出高质量的自监督表征。具体地，对于已经远离的负样本，不需要让其继续远离；主要聚焦于没有远离的负样本（难负样本），从而使得表示空间更均匀（和下面那个红圈圈图差不多意思）。
- 温度系数 τ \tau τ 可以控制挖掘负样本的程度， τ \tau τ 越小越关注难负样本。
Hardness-Awareness
广泛使用的对比损失函数是InfoNCE：
L ( x i ) = − log [ exp ( s i , i / τ ) ∑ k ≠ i exp ( s i , k / τ ) + exp ( s i , i / τ ) ] \mathcal{L}\left(x_{i}\right)=-\log \left[\frac{\exp \left(s_{i, i} / \tau\right)}{\sum_{k \neq i} \exp \left(s_{i, k} / \tau\right)+\exp \left(s_{i, i} / \tau\right)}\right] L(xi)=−log[∑k=iexp(si,k/τ)+exp(si,i/τ)exp(si,i/τ)]<
最低0.47元/天 解锁文章
1841
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
