论文速读|SigLIP：Sigmoid Loss for Language Image Pre-Training.ICCV23

论文地址：https://arxiv.org/abs/2303.15343v4
代码地址：https://github.com/google-research/big_vision
bib引用：

@misc{
   zhai2023sigmoidlosslanguageimage,
      title={
   Sigmoid Loss for Language Image Pre-Training}, 
      author={
   Xiaohua Zhai and Basil Mustafa and Alexander Kolesnikov and Lucas Beyer},
      year={
   2023},
      eprint={
   2303.15343},
      archivePrefix={
   arXiv},
      primaryClass={
   cs.CV},
      url={
   https://arxiv.org/abs/2303.15343}, 
}

InShort

提出用于语言 - 图像预训练的Sigmoid损失函数（SigLIP），该函数相比传统Softmax损失函数，在内存效率、训练效率和小批量训练性能上具有优势。研究发现32k的批量大小在对比学习中接近最优，为语言 - 图像预训练研究提供了新方向。

1. 研究背景：基于网络图像 - 文本对的对比预训练成为获取通用计算机视觉骨干网络的常用方法，标准做法是使用基于softmax的对比损失。本文提出用sigmoid损失替代，其计算更简单、内存效率更高，还能解耦批量大小与任务定义。
2. 相关工作
   • 对比学习中的sigmoid损失：此前有工作在无监督降维任务中提出类似sigmoid损失，但在对比图像 - 文本学习中，多数工作依赖基于softmax的InfoNCE损失。在监督分类中，sigmoid损失比softmax损失更有效、更稳健。
   • 对比语言 - 图像预训练：CLIP和ALIGN应用softmax对比学习，使对比语言 - 图像预训练受到关注，后续研究将其应用于多种任务。此外，还有生成式语言 - 图像预训练等多种方法。
   • 高效语言 - 图像预训练：LiT、FLIP等尝试提高预训练效率，但各有局限，如LiT需预训练骨干网络，FLIP牺牲质量。BASIC和LAION虽扩大批量大小，但也存在不足。
3. 方法
   • Softmax损失：通过对图像和文本嵌入进行归一化，最小化匹配对和不匹配对之间的差异，公式为 − 1 2 ∣ B ∣ ∑ i = 1 ∣ B ∣ ( l o g e t x i ⋅ y i ∑ j = 1 ∣ B ∣ e t x i ⋅ y j ⏞ i m a g e → t e x t s o t h a t + l o g e t x i ⋅ y i ∑ j = 1 ∣ B ∣ e t x j ⋅ y i ⏞ t e x t → i m a g e s o f t m a