多模态text-image模型之ITC loss

最新推荐文章于 2024-08-06 10:19:31 发布
最新推荐文章于 2024-08-06 10:19:31 发布
阅读量4.4k 收藏 41
点赞数 22
文章标签： 深度学习 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Qingxingxx/article/details/135937600
版权
本文介绍了文图模型中ALBEF论文中的Image-TextContrastiveLoss（ITCloss），该损失函数用于学习更好的单模态表示，并通过momentumunimodalencoders稳定表示质量。ITCloss涉及计算图像到文本和文本到图像的相似度，以及基于softmax和交叉熵的优化方法。后续还提及了Image-TextMatching(ITM)loss的更新情况。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在看多模态内容，记录一下文图模型中常用的损失函数。最先提出ITC loss的是论文ALBEF，下面是文章对该Loss的定义

假设有输入图片 I 经过image encoder之后变成{ v c l s , v 1 , … , v N v_{cls}, v_1, …, v_N vcls​,v1​,…,vN​}，输入文本 T 经过 text encoder 后变成{ w c l s , w 1 , … , w N w_{cls}, w_1,…, w_N wcls​,w1​,…,wN​}

ITC Loss 的全称是 Image-Text Contrastive Loss ，为了在融合之前学习更好的unimodal表示，它学习 s = g v ( v c l s

最低0.47元/天 解锁文章
《深入浅出多模态》之多模态技术知识总结（中）
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
12-02 578
本作者推出全新系列《深入浅出多模态》专栏，具体章节如导图所示（导图后续更新），将分别从各个多模态模型的概念、经典模型、创新点、论文综述、发展方向、数据集等各种角度展开详细介绍，欢迎大家关注。
大语言模型与多模态大模型loss计算
最新发布
weixin_38252409的博客
08-08 1164
如果看了我前面文章，想必你基本对整个代码有了更深认识。实际上，大多大模型都是使用huggingface搭建，而大多LORA训练也是调用PEFT库。然而，LLaVA代码却没有相关VIT模型训练内容，也没有不同组合训练。而我也是想探索单独使用vit的lora训练、单独使用llm的lora训练或全都使用会有什么效果呢？因此，本篇文章将探索LLaVA如何按需构建LORA训练，我会给出如何构建参数与修改源码，也会给出我实验结果。
多模态text-image模型之ITC loss （blip）
vivi_cin的博客
04-07 768
【代码】多模态text-image模型之ITC loss （blip）
多模态论文串讲·上【论文精读·46】只用 Transformer encoder 的一些方法viLT、clip、ALBEF、VLMO
云淡风轻_的博客
02-06 2101
通过这种不停的阅读总结、对比。不说100%，但绝大多数。时候都是应该能够给你一个很明确的研究方向。
ICCV2021 微软&CMU提出TACo：同时用三个损失函数进行多模态对齐！性能SOTA！
我爱计算机视觉
11-29 3263
关注公众号，发现CV技术之美▊写在前面对比学习已被广泛用于训练基于Transformer的视觉语言模型，用于视频-文本对齐和多模态表示学习。本文提出了一种token感知级联对比学习(TA...
Image-Text Matching常用Loss总结
m0_37864130的博客
01-07 2672
Notations B: 一个batch_size的大小 v: visual feature t: text feature 一、Matching Loss 1. Triplet Loss 1.Normal Ltri=∑i=1B∑i=1B−1[α−s(ai,pi)+s(ai,nj)]+ L_{tri} = \sum_{i=1}^B \sum_{i=1}^{B-1}[\alpha - s(a_i, ...
多模态text-image模型之ITM loss（blip）
vivi_cin的博客
04-07 2107
函数计算模型输出和真实标签之间的交叉熵损失。这个损失反映了模型预测和实际标签之间的差异，用于指导模型参数的更新，以便更好地区分正面和负面样本。）的得分，这个头部是一个全连接层，用于将模型学到的特征映射到正面和负面类别的得分。函数将这些标签连接起来，形成一个完整的标签张量。：模型对应的标签，包含了每个样本的真实标签。是负面样本的标签，设为 0。是正面样本的标签，设为 1，：模型输出的是经过训练头部（是模型输出的分类得分，是每个样本的真实标签。
风格迁移2-07：MUNIT(多模态无监督)-源码无死角解析（3）-loss计算
江南才尽江南山，年少无知年少狂！
04-19 1455
通过上一篇博客的介绍，我们已经知道了网络前向传播的过程，主要代码再trainer.py中实现，现在我们来看看网络的是如何计算loss进行优化的。
多模态回归—不止L1与L2损失
Cratial
12-07 3386
前言：本篇博文为译文，翻译自Patrick Langechuan Liu 发表在towards data science的博文 “Multimodal Regression — Beyond L1 and L2 Loss” 原博文链接：https://towardsdatascience.com/anchors-and-multi-bin-loss-for-multi-modal-target-regression-647ea1974617 原博文撰写时间：2019-09-30 深度学习最著名的应用是
多模态+大模型+学习笔记
09-21
### 多模态大模型——BLIP：统一的视觉语言理解与生成框架 #### 一、研究背景与动机 在视觉语言预训练(VLP)领域，近年来涌现了一系列高性能的多模态模型，如Clip、ALBEF 和 SimVLM 等。这些模型通过将图像和文本...
多模态视觉语言模型
orangerfun的博客
04-20 1810
多模态大模型详解，LLAVA、Qwen-VL、BLIP
分享丨万字长文总结多模态大模型最新进展（Modality Bridging篇）
2401_85377976的博客
08-06 1210
因为该层专注于整合 [CLS] 特征以用于对比学习。MLP adapter：a two-layer SwiGLU MLP，用于将ViT的输出映射到与文本特征相同的空间。所有的图像特征在语言模型中共享相同的「位置编码 id」。Visual expert module：在 LLM 的每一层中引入可训练的 visual expert，其包含专门处理 image feature 的「QKV 矩阵」和「MLP 层」，以实现深度的视觉-语言特征对齐。
损失函数篇（基于公开资源整理， 侵删）
qq_39667545的博客
09-06 593
一、分类问题 1.0-1损失函数 特点： 作为一种标准，但是相对太苛刻了，因此感知机使用的是一种软约束后的0-1损失函数 2. hinge loss： 主要用于SVM中 特点： 1. 主要用于svm中，如果样本分类正确，则损失为0，否则为1-y*f(x)，其中f(x)的取值在（-1， 1）之间，而y的取值为-1或1。并不鼓励模型对某些样本过度自信，因此式模型更专注于整体的误差。 2.健壮性较强，对...
多模态串讲（上）
teletubbies的博客
12-30 2336
因为我们往往做图像文本匹配，或者图像文本检索任务的时候，我们是有一个很大的已有的数据库的，这个时候如果我们新来一张图片，或者新来一个文本，我们要跟已有的数据库去做匹配 ，那其他所有的方法，比如图上的（a）（c）（d）都会非常的慢，因为其所有的数据都要过一遍编码器，但是CLIP模型就不需要，它可以提前把数据库里所有的图像文本的特征提前都抽取好，并且是想什么时候抽取就什么时候抽取，抽取好放在那里即可，等我们真正想用的时候，直接做一个点乘就好，矩阵乘法还是相当快的。所以CLIP的这个实际应用非常广泛。
【多模态】26、视觉-文本多模态任务超详细介绍 「CLIP/LSeg/ViLD/GLIP/ALBEF/BLIP/CoCa/BEIT」
呆呆的猫的博客
08-20 6764
本文主要介绍典型的图文多模态任务
多模态论文串讲
qq_52038588的博客
10-17 839
朱老师画的多模态近期脉络FLIP论文：CLIP基础上用了MAE思想，没mask的当作token，减少序列长度，值得看MetaLM PaLi做什么由prompt决定，调整prompt决定任务调整输出其他：Unified IO Uniperceiver1，2，uniperceiverMOE。
BLIP论文笔记
sajo_manaka
03-02 5021
BLIP 大多数现有的VLP模型大多仅仅在understanding-based tasks 或者 generation-based tsaks表现良好，但很少在这两方面都能取得较好的结果。 同时，性能的增大往往来自于数据集的扩大，但是现有的数据集大多数是web网络上采集下来的img-text pair。这些大规模从网络上采集下来的数据往往包含大量的noise，不利于模型的训练。 基于以上两点，作者提出了BLIP模型，能灵活的解决understanding-based tasks和generation-ba
多模态情感计算（一）：基于领域自适应的跨模态融合
wdmxsdymcxy的博客
10-07 4289
采用领域自适应的跨模态融合方案解决多模态情感计算问题
多模态大模型入门指南
m0_59235945的博客
04-10 1847
4.1 26 个多模态大模型全面比较如表1所示，对26 SOTA MM-LLMs的架构和训练数据集规模进行了全面比较。随后，简要介绍这些模型的核心贡献并总结了它们的发展趋势。代表了一系列视觉语言 (VL) 模型，旨在处理交错的视觉数据和文本，生成自由格式的文本作为输出。(2)BLIP-2引入了一个资源效率更高的框架，包括用于弥补模态差距的轻量级 Q-Former ，实现对冻结 LLMs 的充分利用。利用 LLMs，BLIP-2 可以使用自然语言提示进行零样本图像到文本的生成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值