CLIP 与 SigLIP 文本图像对其算法学习理解

已于 2024-03-14 16:52:24 修改
阅读量1w 收藏 16
点赞数 15
分类专栏： 多模态 深度学习 文章标签： 学习
于 2024-03-12 08:58:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42357472/article/details/136638067
版权
本文介绍了CLIP和SigLIP两种文本图像配对算法的区别。CLIP通过图文对进行多分类softmax计算，而SigLIP则采用二分类sigmoid策略。此外，文章还提供了计算损失的代码实现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考：
https://github.com/openai/CLIP

简单理解两者区别

CLIP：batch内的图文对做多分类softmax；比如下图第一行表示第一个文本与batch内哪个图片匹配（多分类）；除了行还计算列，比如第一列表示第一个图片与batch内哪个文本匹配

SigLIP：batch内的图文对做二分类sigmod；比如下图第一行表示 第一个文本分别与batch内每个图片做二分类
在这里插入图片描述

计算损失-代码实现

CLIP
在这里插入图片描述

SigLIP
在这里插入图片描述

2*np.eye(n) - np.ones(n) 构建了label的矩阵，-1或者1的二分类；例如下列n=3
在这里插入图片描述

论文阅读：SigLIP：Sigmoid Loss for Language Image Pre-Training
微风❤水墨
09-19 466
GIT [49]、SimVLM [50] 和 LEMON [21] 成功地使用生成式文本解码器而不是对比学习来预训练模型，而CoCa [56] 在判别式的CLIP/ALIGN架构中添加了这样的解码器，从而将两种方法的优点和缺点结合进一个非常强大的模型中。具体而言，我们研究了基于Sigmoid的损失与图像-文本学习的两种突出方法：CLIP [36] 和 LiT [59]，我们分别称之为Sigmoid语言图像预训练（SigLIP）和Sigmoid LiT（SigLiT）在使用超过100种语言的多语言设置下，
JanusFlow: 融合自回归与修正流的统一多模态理解与生成框架
步子哥的博客
01-31 943
JanusFlow提出了一种创新的统一多模态框架，将自回归语言模型与修正流（Rectified Flow）相结合，在单一模型架构中实现了视觉理解与图像生成的双重能力。通过三个关键创新点——（1）基于LLM的修正流实现、（2）任务分离的视觉编码器设计、（3）表示对齐正则化机制——模型在保持结构简约性的同时，显著超越了现有统一模型的表现。实验表明，在参数量仅为1.3B的情况下，JanusFlow在MMBench等基准测试中表现优于专业理解模型，同时在FID等生成指标上超越主流生成模型。
SigLIP技术小结
weixin_40779727的博客
09-28 2329
sigmoid-based contrastive learning从经典的softmax-based contrastive learning的“pick the right class”转化为“rate this pair”。这个转化实现了compute efficient和memory efficient，并在实验中证明，siglip在小batch下（低于32k）更具优势。
SigLIP震撼升级！谷歌提出SigLIP 2！各种视觉多模态任务新SOTA！
m0_59235245的博客
02-25 1247
我们推出了SigLIP 2，这是一系列基于原始SigLIP的成功经验构建的新型多语言视觉-语言编码器。在第二次迭代中，我们将原始的图像-文本训练目标与几种先前独立开发的技术相结合，形成了一个统一的方法——这包括基于字幕的预训练、自监督损失（自蒸馏、掩码预测）和在线数据筛选。通过这些改进，SigLIP 2模型在所有模型规模下的核心能力方面都优于其SigLIP对应模型，包括零样本分类、图像-文本检索，以及为视觉-语言模型（VLM）提取视觉表示时的迁移性能。
SiGILP是什么？
pumpkin84514的博客
06-18 1748
SiGILP是一个强大的多模态模型，能够同时理解和生成图像和文本内容。与CLIP相比，SiGILP不仅能匹配图像和文本，还具备生成新内容的能力。使用步骤包括安装依赖、加载模型、处理输入数据、生成和解释输出，以及解析和处理结果。示例代码展示了如何根据文本描述生成与之相关的图像或解释。
谷歌重磅新作SigLIP 2：刷新各种视觉多模态任务SOTA！
阿木寺的博客
02-24 354
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【顶会/顶刊】投稿交流群添加微信号：CVer2233，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：数源AI论文名：SigLIP 2: Multilingual Vision-Langua...
多模态PaliGemma 2(含1代)：Google推出的基于SigLIP和Gemma 2的视觉语言模型(附SigLIP详解)
结构之法 算法之道
11-05 5846
PaliGemma 是一个开放的视觉语言模型（VLM），基于 SigLIP--So400m 视觉编码器和 Gemma-2B 语言模型其结合了PaLI视觉语言模型和Gemma语言模型家族的特点。
【LVLMs】CLIP系列模型通俗理解[SIGLIP&EVA-CLIP&CLIP]
Hali_Botebie的博客
10-23 297
一 CLIP模型CLIP使用对比学习方法,其损失函数基于图像-文本对的相似度。让我们通过一个简化的例子来说明这个过程。假设我们有一个小批量数据,包含3个图像-文本对:图像1: 一只猫 文本1: “一只橙色的猫坐在窗台上”图像2: 一条狗 文本2: “一只黑色的狗在草地上奔跑”图像3: 一辆汽车 文本3: “一辆红色跑车停在路边”Copy步骤1: 特征提取 首先,CLIP会使用图像编码器和文本编码器分别提取图像和文本的特征。
斯坦福局部对齐技术：大幅提升CLiP、SigLIP及VLM模型性能！
m0_59235945的博客
10-23 1498
视觉语言模型（VLMs）近年来获得了越来越多的应用，但许多模型仍在基本的空间推理上存在错误。这可能是由于VLMs使用的预训练视觉主干网络，尤其是那些仅具有图像级监督和最小归纳偏置的视觉变换器（ViTs），未能在图像的每个位置编码类别内容。为了解决这一问题，本研究提出了一种新的后训练阶段，称为局部对齐，以及一种新的微调过程，叫做MaskEmbed。MaskEmbed使用掩码重建损失来学习每个图像片段的语义贡献。
Llama 3-V: 比GPT4-V小100倍的SOTA
鲁班模锤
05-29 1690
大模型领域风云变幻莫测。先是Llama3风靡全球，在几乎所有基准测试中都超越GPT-3.5，部分的基准测试超越了 GPT4。随后，GPT-4o横空出世，凭借其多模态重新夺回王位。而本文中的Llama3-v是研究人员带来新的惊喜，先看下图的统计。Llava是目前最先进的多模态理解模型，LLama3-V与Llava（多模态理解领域的SOTA）相比，提升了 10-20%。此外，除了MMMU之外，在其他指标的表现上和规模大于其 100 倍的闭源模型都毫不逊色。
【MLLM+轻量多模态模型】24.02.Bunny-v1.0-2B-zh: 轻量级多模态语言模型 （效果一般）
进一寸有一寸的欢喜
03-18 2855
Bunny-3 是一个轻量级但功能强大的多模态模型系列。它提供多种即插即用的视觉编码器，如 EVA-CLIP、SigLIP 和语言主干网(LLM)，包括Phi-1.5、StableLM-2、Qwen1.5 和 Phi-2。为了弥补模型大小的减少，我们通过从更广泛的数据源中精选来构建信息量更大的训练数据。
SigLIP模型：小批量数据下的性能突破
2501_90976089的博客
03-07 531
SigLIP模型通过创新性地采用Sigmoid损失函数，在小批量数据情况下显著提升了语言-图像预训练的性能。相比传统的softmax损失函数，Sigmoid独立处理每对图像-文本，避免了全局归一化带来的信息损失，尤其在小批量数据下表现优异。此外，SigLIP模型在多语言预训练中展现了强大的适应能力，通过大规模数据集和长时训练策略，在复杂任务中取得了卓越成果。特别是在多语言图像检索和零样本分类任务中，模型性能显著提升，为多语言模型研究提供了新的方向。
CLIP改进
u012374012的专栏
10-25 1270
同样也是论文标题言简意赅地体现了核心工作：如何训练一个好的数据过滤网络（DFN），从而从原始数据池中过滤出高质量数据用以训练一个好的CLIP。），并计算新的b-1个负例对应的损失，并逐渐将该损失进行累加就会得到该GPU对应的完整局部损失，然后把所有GPU的局部损失相加便可以得到完整的。该实现下，每个GPU仅需要和相邻GPU进行D-1次文本特征的交换，并且仅需维护一个d x d的矩阵即可，鉴于SigLIP的特性，他们还设计了一种DDP训练下的高效实现，假设一共有D个GPU，每个GPU的局部批次大小为。
通过CLIP引导解码减轻大型视觉-语言模型中的幻觉问题
人工智能讲师分享前沿技术
08-16 1123
大型视觉-语言模型（LVLMs）因其在视觉推理方面的能力而备受瞩目，被视为实现自主操作智能体的重要里程碑。但它在生成文本时容易出现对象幻觉问题，即描述中包含不存在的对象，这严重限制了它们的可靠性和实用性。为了解决这一问题，新加坡国立大学计算学院的Ailin Deng、Zhirui Chen和Bryan Hooi提出了一种新颖的方法——CLIP引导解码（CGD），旨在在不经过额外训练的情况下，通过CLIP模型在解码时引导模型，增强生成文本与图像的视觉基础，从而有效减轻对象幻觉问题。
Janus-Pro: 统一多模态理解与生成的系统化实现与优化路径
步子哥的博客
01-31 727
本文系统性地阐述了Janus-Pro框架在统一多模态建模领域的技术突破，通过解耦编码体系、动态训练策略和大规模扩展验证，为后续研究提供了完整的工程实践范式。实验表明，该方法在1.5B至7B参数范围内均展现出优异的可扩展性，为通用人工智能的发展提供了新的技术路径。实验表明，当合成数据占比达到40%时，人类偏好评分提升2.3倍，同时稳定了生成质量的方差（σ从0.87降至0.35）：通过加权移动平均(WEMA)控制器调整不同参数组的更新速率。该设计在保持参数效率的同时，将注意力的感受野扩展了2.3倍。
CLIP模型
bblingbbling的博客
03-06 8106
RN101:RN50X4:RN50X16:RN50X64VB32:VB16:VL14:
SigLip模型：小批量数据下的性能突破
XianxinMao的博客
02-13 507
SigLip模型通过采用Sigmoid损失函数，在语言-图像预训练中展现出显著优势，尤其是在小批量数据下，其训练效率和性能均优于传统的softmax损失函数。该模型通过独立处理每个图像-文本对，简化了计算过程，并引入可学习的偏置项，增强了模型的稳定性。在多语言预训练中，SigLip利用大规模数据集和“过训练”策略，进一步提升了零样本分类和图像-文本检索任务的性能。其创新设计和优化策略不仅巩固了在多模态学习领域的领先地位，还为复杂任务中的适应性和泛化能力提供了新的可能性。
论文阅读： SigLit | SigLip |Sigmoid Loss for Language Image Pre-Training
a486259的博客
09-17 2593
论文地址：https://arxiv.org/pdf/2303.15343项目地址：https://github.com/google-research/big_vision发表时间：2023年3月27日我们提出了一种用于语言图像预训练（SigLIP）的简单成对 Sigmoid 损失。与使用 softmax 归一化的标准对比学习不同，sigmoid 损失仅对图像-文本对进行操作，并且不需要对归一化的成对相似性进行全局视图。
SigLIP——采用sigmoid损失的图文预训练方式
机器学习杂货铺1号店
09-08 3389
CLIP中的infoNCE损失是一种对比性损失，在SigLIP这个工作中，作者提出采用非对比性的sigmoid损失，能够更高效地进行图文预训练
siglip rag
最新发布
03-25
### SIGLIP RAG 技术概述 SIGLIP是一种专注于跨模态理解的技术框架，其核心目标在于提高图像和文本之间的关联性和匹配度。它通过构建一种高效的视觉-语言嵌入空间来解决传统方法中存在的语义鸿沟问题[^3]。具体而言，SIGLIP的设计初衷是为了克服现有模型在处理复杂场景下的局限性，尤其是在涉及多模态输入的情况下。 当SIGLIP被集成到RAG（Retrieval-Augmented Generation）架构中时，可以显著提升系统的性能表现。这种组合不仅能够利用外部知识库中的结构化信息，还能够在面对复杂的多模态查询时提供更加精准的结果。例如，在处理带有图片说明的任务时，SIGLIP可以帮助识别并提取图片中的关键特征，并将其映射至相应的自然语言描述上[^4]。 以下是基于SIGLIP的RAG实现的一个简化版本： ```python import torch from transformers import RagTokenizer, RagTokenForGeneration, SiglipProcessor class SiglipRagModel: def __init__(self): self.tokenizer = RagTokenizer.from_pretrained("facebook/rag-token-base") self.model = RagTokenForGeneration.from_pretrained("facebook/rag-token-base") self.siglip_processor = SiglipProcessor.from_pretrained("google/siglip-base-patch16-224") def encode_image(self, image_path): """加载并预处理图片""" from PIL import Image image = Image.open(image_path).convert('RGB') inputs = self.siglip_processor(images=image, return_tensors="pt", padding=True) with torch.no_grad(): outputs = self.siglip_processor.get_text_features(**inputs) return outputs.pooler_output.numpy() def generate_response(self, question, context_embeddings=None): """生成最终的回答""" input_ids = self.tokenizer(question, truncation=True, max_length=128, return_tensors='pt')['input_ids'] if context_embeddings is not None: # 将上下文向量传递给模型作为额外条件 model_inputs = { 'context_input_ids': ..., 'retrieved_doc_embeds': context_embeddings, 'question_hidden_states': ... } else: model_inputs = {'input_ids': input_ids} generated_answer = self.model.generate(**model_inputs) decoded_answer = self.tokenizer.decode(generated_answer[0], skip_special_tokens=True) return decoded_answer ``` 上述代码展示了如何将SIGLIP与标准RAG模型结合起来的工作流程。首先定义了一个`SiglipRagModel`类用于封装必要的组件；其次提供了两个主要功能——一个是负责编码输入图像的数据流管道(`encode_image`)，另一个则用来根据提问以及可选的情境表示生成答案(`generate_response`)。 #### 多模态数据支持的重要性 随着AI领域的发展趋势表明，未来的应用程序越来越依赖于多种感官形式的数据交互方式。因此，像SIGLIP这样的工具对于推动下一代智能系统至关重要，因为它允许机器更好地理解和回应人类世界的多样性需求[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

loong_XL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值