【VLM】SigLIp: Sigmoid Loss for Language Image Pre-Training

已于 2024-08-28 11:44:52 修改
阅读量5.8k 收藏 25
点赞数 27
文章标签： 人工智能
于 2024-07-29 15:15:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37706246/article/details/140699405
版权

PaperLink: https://arxiv.org/pdf/2303.15343
code: https://github.com/mlfoundations/open_clip/blob/main/src/open_clip/loss.py
参考: https://zhuanlan.zhihu.com/p/709572492

概要

CLIP面临的挑战
1.需要较大的batch，即需要大量的GPU；
2.图像和文本的特征需要gather所有GPU上的，需考虑GPU之前的大量通信
提出SigLip(使用sigmoid计算loss,替换之前的softmax函数),减少clip对batch大小的要求。

技术细节

  • ClipLoss
    1)非对称loss,由文本–图像的softmax+图像到文本的softmax两项组成，
    2)以image–>text softmax计算为例，分子中的每个正样本对(xi, yi)，都会被分母中的所有负样本(xi,yj)对进行全局归一化。每个GPU需要维护一个N*N的成对相似性矩阵(导致二次复杂)
    t为温度超参，控制softmax输出的锐度/平滑度
    softmax:
最低0.47元/天 解锁文章
Dolly_DL
关注
论文阅读：SigLIP：Sigmoid Loss for Language Image Pre-Training
微风❤水墨
09-19 507
GIT [49]、SimVLM [50] 和 LEMON [21] 成功地使用生成式文本解码器而不是对比学习来预训练模型，而CoCa [56] 在判别式的CLIP/ALIGN架构中添加了这样的解码器，从而将两种方法的优点和缺点结合进一个非常强大的模型中。具体而言，我们研究了基于Sigmoid的损失与图像-文本学习的两种突出方法：CLIP [36] 和 LiT [59]，我们分别称之为Sigmoid语言图像预训练（SigLIP）和Sigmoid LiT（SigLiT）在使用超过100种语言的多语言设置下，
从openai图文对比模型clip到具身智能vlm agent
最新发布
kakaZhui的博客
05-15 63
CLIP（Contrastive Language-Image Pre-Training）是OpenAI 2021年推出的多模态预训练模型，通过4亿个互联网图像-文本对进行对比学习训练。首创自然语言作为监督信号在零样本场景下超越传统监督模型支持跨模态语义对齐（ImageNet零样本准确率达76.2%）
SigLIP模型：小批量数据下的性能突破
2501_90976089的博客
03-07 560
SigLIP模型通过创新性地采用Sigmoid损失函数，在小批量数据情况下显著提升了语言-图像预训练的性能。相比传统的softmax损失函数，Sigmoid独立处理每对图像-文本，避免了全局归一化带来的信息损失，尤其在小批量数据下表现优异。此外，SigLIP模型在多语言预训练中展现了强大的适应能力，通过大规模数据集和长时训练策略，在复杂任务中取得了卓越成果。特别是在多语言图像检索和零样本分类任务中，模型性能显著提升，为多语言模型研究提供了新的方向。
PaliGemma详解！
m0_69868172的博客
03-17 521
PaliGemma 是一个基于 SigLIP-So400m （SoViT-400m 架构：SoViT-400m 是一种形状优化的 Vision Transformer 架构，其结构参数经过试验测试得到。具体来说，该模型的宽度为 1152，深度为 27，MLP 维度为 4304。这种架构设计使得模型在保持较小规模的同时，能够达到与更大模型相当的性能。Sigmoid损失函数。
论文阅读： SigLit | SigLip |Sigmoid Loss for Language Image Pre-Training
a486259的博客
09-17 2836
论文地址：https://arxiv.org/pdf/2303.15343项目地址：https://github.com/google-research/big_vision发表时间：2023年3月27日我们提出了一种用于语言图像预训练（SigLIP）的简单成对 Sigmoid 损失。与使用 softmax 归一化的标准对比学习不同，sigmoid 损失仅对图像-文本对进行操作，并且不需要对归一化的成对相似性进行全局视图。
SigLIP 2：多语言语义理解、定位和密集特征的视觉语言编码器
deephub
03-12 4548
SigLIP 2 是一个新型多语言视觉-语言编码器系列，通过整合基于字幕的预训练、自监督学习机制（包括自蒸馏和掩码预测）以及在线数据管理策略，对原始 SigLIP 模型进行了显著改进。这些优化使 SigLIP 2 在零样本分类、图像-文本检索以及为视觉语言模型(VLM)提供视觉表示提取方面均取得了卓越性能。模型在定位和密集预测任务中展现出明显提升，同时支持多种分辨率处理，并能保持图像原始纵横比。
SigLIP——采用sigmoid损失的图文预训练方式
机器学习杂货铺1号店
09-08 3569
CLIP中的infoNCE损失是一种对比性损失，在SigLIP这个工作中，作者提出采用非对比性的sigmoid损失，能够更高效地进行图文预训练
探索深度学习的新边界：双温sigmoid损失(Bi-Tempered Logistic Loss)
gitblog_00091的博客
06-14 443
探索深度学习的新边界：双温sigmoid损失(Bi-Tempered Logistic Loss) bi-tempered-loss项目地址:https://gitcode.com/gh_mirrors/bi/bi-tempered-loss 在这个快速发展的AI时代，每一个微小的创新都能引领一场技术革命。今天，我们要向您推介一个来自谷歌实验室的技术结晶——双温sigmoid损失（Bi-Temp...
多模态学习原理与代码实战案例讲解
AI智能涌现深度研究
10-02 1034
1. 背景介绍 1.1 问题的由来 在现实世界中，我们通常会接触到各种不同类型的信息，例如文本、图像、音频、视频等。这些信息往往相互关联，共同构成了对事物的完整描述。然而，传统的机器学习模型通常只针对单一类型的数据进行训练，无法有效地利用多模态信息之间的关联性。 例如，在图像识别任务中，仅使
SigLIP技术小结
weixin_40779727的博客
09-28 2427
sigmoid-based contrastive learning从经典的softmax-based contrastive learning的“pick the right class”转化为“rate this pair”。这个转化实现了compute efficient和memory efficient，并在实验中证明，siglip在小batch下（低于32k）更具优势。
谷歌重磅新作SigLIP 2：刷新各种视觉多模态任务SOTA！
阿木寺的博客
02-24 589
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【顶会/顶刊】投稿交流群添加微信号：CVer2233，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：数源AI论文名：SigLIP 2: Multilingual Vision-Langua...
SigLip模型：小批量数据下的性能突破
XianxinMao的博客
02-13 547
SigLip模型通过采用Sigmoid损失函数，在语言-图像预训练中展现出显著优势，尤其是在小批量数据下，其训练效率和性能均优于传统的softmax损失函数。该模型通过独立处理每个图像-文本对，简化了计算过程，并引入可学习的偏置项，增强了模型的稳定性。在多语言预训练中，SigLip利用大规模数据集和“过训练”策略，进一步提升了零样本分类和图像-文本检索任务的性能。其创新设计和优化策略不仅巩固了在多模态学习领域的领先地位，还为复杂任务中的适应性和泛化能力提供了新的可能性。
CLIP 与 SigLIP 文本图像对其算法学习理解
热门推荐
weixin_42357472的博客
03-12 1万+
参考： https://github.com/openai/CLIPCLIP：batch内的图文对做多分类softmax；比如下图第一行表示第一个文本与batch内哪个图片匹配（多分类）；除了行还计算列，比如第一列表示第一个图片与batch内哪个文本匹配SigLIP：batch内的图文对做二分类sigmod；比如下图第一行表示 第一个文本分别与batch内每个图片做二分类 CLIP SigLIP 2*np.eye(n) - np.ones(n) 构建了label的矩阵，-1或者1的二分类；例如下列n=3
【阅读笔记】技术前沿（视觉-语言预训练、能量模型）
Amber_7422的博客
04-21 2308
1. 视觉-语言预训练 (Vision-Language Pre-training，VLP) 预训练模型，生成图像标注，视觉问答 - 模型角度，基于编码器-解码器的模型在「图文检索」task中尚未成功实践 - 数据角度，SOTA：CLIP、SimVLM 文本噪声问题严重 本文提出BLIP（Bootstrapping Language-Image Pre-training），用于统一视觉 - 语言理解和生成任务，通过自展标注（bootstrapping the captions），可以有效地利用带有.
论文阅读—— Multimodal Foundation Models:From Specialists to General-Purpose Assistants（Chapter 1-2）
weixin_43575791的博客
12-23 1143
为了提高共享图像-文本嵌入空间的可解释性，STAIR提出将图像和文本映射到高维、稀疏的嵌入空间，其中稀疏嵌入中的每个维度是大字典中的（子）词，其中预测的非负标量对应于与令牌相关联的权重。开始在ImageNet，ImageNet21K上预训练如ResNet，Swin transformer，但是效果受到数据集规模和多样性的制约，于是有了更大数据集，从网络上抓取的图像-文本对中大量导出有噪声的标签，如IG-3.6B，提出了很多损失函数，如large margin loss。现有的工作集中在三个研究主题上。
siglip代码笔记
Qiming的博客
12-21 2525
siglip笔记
CLIP（Contrastive Language-Image Pre-Training）简介
huang007guo的专栏
10-28 5553
CLIP（Contrastive Language-Image Pre-Training）: 利用文本的监督信号训练一个迁移能力强的视觉预训练模型,通过对比学习,训练得到图片和文本的相似度,传闻使用4亿个配对的数据和文本来进行训练,不标注直接爬取的
【MLLM+轻量多模态模型】24.02.Bunny-v1.0-2B-zh: 轻量级多模态语言模型 （效果一般）
进一寸有一寸的欢喜
03-18 2947
Bunny-3 是一个轻量级但功能强大的多模态模型系列。它提供多种即插即用的视觉编码器，如 EVA-CLIP、SigLIP 和语言主干网(LLM)，包括Phi-1.5、StableLM-2、Qwen1.5 和 Phi-2。为了弥补模型大小的减少，我们通过从更广泛的数据源中精选来构建信息量更大的训练数据。
Idefics2 简介: 为社区而生的强大 8B 视觉语言模型
Hugging Face
05-15 1280
我们很高兴在此发布 Idefics2，这是一个通用的多模态模型，接受任意文本序列和图像序列作为输入，并据此生成文本。它可用于回答图像相关的问题、描述视觉内容、基于多幅图像创作故事、从文档中提取信息以及执行基本的算术运算。Idefics2https://hf.co/HuggingFaceM4/idefics2-8bIdefics2 由 Idefics1 改进而得，其参数量为 8B，具有开放许可 (A...
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
04-03
### Task-agnostic 视频语言模型 (VLM) 的预训练及其在视频理解中的应用 #### 定义与背景 Task-agnostic 视频语言模型（VLM）是一种能够处理多任务场景的通用型模型，旨在通过联合建模视频和文本数据来捕捉跨模态的信息交互。这种类型的模型通常通过对大规模未标注或多标签的数据集进行自监督学习完成预训练阶段[^2]。相比传统的任务特定模型，Task-agnostic VLM 更加灵活，在多个下游任务中表现出色。 #### 预训练方法概述 预训练的核心目标是从大量无标记或弱标记的多媒体数据中提取有用的特征表示。对于视频语言模型而言，常见的做法是将视频序列分解为离散的时间步，并将其映射到高维向量空间中。具体来说，给定一段视频片段 \( v \)，以及对应的自然语言描述 \( t \)，可以通过以下方式实现： 1. **Token化**: 将视频帧转换为一系列 token 嵌入，这一步骤可能涉及使用冻结的视觉编码器（如 ResNet 或 Swin Transformer）提取每帧的空间特征。 2. **时间建模**: 利用可训练的 MLP 层或其他结构进一步捕获帧间关系，从而得到最终的视频 token 表示。 3. **对比学习框架**: 在许多情况下，采用基于对比损失的目标函数优化模型参数，使得正样本对之间的相似度最大化而负样本最小化[^3]。 #### 应用于视频理解的具体案例分析 以 Meta AI 和 CMU 提出的任务无关视频语言模型为例，该架构展示了如何有效地结合来自不同源域的知识来进行广泛的视频理解和生成任务。此外，还有其他研究尝试比较不同类型 VLM 架构的效果差异，例如 BLIPBASE 和 XVLMCLIP 这两类分别代表了编解码器网络混合模式和平行流模式的设计理念。 当涉及到实际应用场景时，像 SeeDo 系统那样利用预先训练好的大型多模态语言模型去解析真实世界的演示录像成为一种新兴趋势[^1]。它不仅继承了传统模仿学习技术的优点——即把复杂的操作拆分成更易于管理的小单元；同时还引入了先进的 NLP 技术支持更加多样化的动作执行形式。 ```python import torch from transformers import VideoMAEModel, AutoTokenizer def extract_video_features(video_frames): video_encoder = VideoMAEModel.from_pretrained('videomae-base') tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased') with torch.no_grad(): frame_embeddings = video_encoder(video_frames).last_hidden_state text_input_ids = tokenizer("A man is playing basketball", return_tensors="pt")['input_ids'] # Hypothetical fusion mechanism between visual and textual embeddings. fused_representation = combine_visual_textual(frame_embeddings, text_input_ids) return fused_representation def combine_visual_textual(vis_emb, txt_id): pass # Placeholder for actual implementation details. video_data = ... # Preprocessed input data structure containing frames. result = extract_video_features(video_data) print(result.shape) ``` 上述代码片段展示了一个简单的例子说明怎样加载现成工具包里的组件并组合起来形成初步解决方案雏形。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值