NLP实践——VQA/Caption生成模型BLIP-2的应用介绍

原创 已于 2023-02-16 23:20:55 修改 · 1.1w 阅读 · 67 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #BLIP #多模态

于 2023-02-16 23:17:01 首次发布
本文介绍了如何应用BLIP-2模型进行图像描述生成和视觉问答。通过HuggingFace的transformers库，用户可以方便地下载和运行模型，实现对图像的caption生成和与模型进行对话。文章提供了模型下载、环境配置以及代码示例，展示了BLIP-2在NLP领域的实用性和便利性。

NLP实践——VQA/Caption生成模型BLIP-2的应用介绍

1. 简介

今天介绍一个跨模态模型，也是最近比较火的一个工作，叫做BLIP-2。很久很久之前我写过一个简单的image caption项目的介绍，那个模型原理比较简单，就是encode-decode模式，但是项目却不怎么好运行，而现在，随着技术的迭代升级，还有huggingface社区的加持，想实现图文生成变得方便了许多。

BLIP模型是一个对图像部分和文字部分分别编码，然后再深度交互的模型，对于模型的技术细节，本文不做过多的介绍，可以直接阅读论文，总的来说没有什么难以理解的点。

利用这个模型，你可以一键生成对图像的描述，或者询问图像中的信息，与模型进行对话等。

模型结构

下面是项目和论文的地址。

项目地址：https://github.com/salesforce/LAVIS/tree/main/projects/blip2
论文地址：https://arxiv.org/abs/2301.12597

本文将介绍如何利用huggingface的transformers模块，实现BLIP-2的调用。

2. 模型下载

目前HF上开源出来的BLIP-2有好几个模型，这里选择Salesforce/blip2-opt-6.7b作为例子进行介绍，我们进入该项目的地址：

https://huggingface.co/Salesforce/blip2-opt-6.7b/tree/main

把文件列表里的所有文件全都下载下来，放在一个目录里。因为文件比较大，所以不建议直接联网下载到hf的默认缓存区，可以像我这样下载到自定义的地址，在加载模型的时候手动指定目录即可。

模型下载
如果你迫不及待地想要体验一下在线版，可以直接进入space，直接在线操作：
https://huggingface.co/spaces/Salesforce/BLIP2

3. 运行环境

运行BLIP-2，需要最新版本的transformers模块，截至目前，已经发布的transformers的最高版本是4.26.1，我尝试使用这个版本，发现仍然没有BLIP2相关的模型，所以到git上找到开发中的版本4.27-dev。

截至目前（2023-02-16），进入git上官方transformers，你看到的

最低0.47元/天 解锁文章
认识 BLIP-2：Salesforce 新的开源视觉语言模型，比 GPT-4 更快更简单(教程含源码)
iCloudEnd的博客
03-28 1071
该模型从根本上提高了视觉语言模型预训练的成本和效率。我的一个好朋友总是提醒我，多模态是人工智能的未来，视觉语言模型似乎证实了这一说法。近几个月来，视觉语言模型呈爆炸式增长。最近，GPT-4 推出了包括语言和图像在内的多模态功能。尽管取得了进展，但训练视觉语言模型的成本正在迅速增加，严重限制了该领域的应用。最近，Salesforce Research推出了 BLIP-2，这是一种以经济高效的方式预训练视觉语言模型的新技术。
视觉-语言模型：BLIP与Flamingo如何理解图文？
热门推荐
CSDN博客专家，系统架构师，有合作、疑惑请私信博主。
06-05 4万+
视觉-语言模型：BLIP与Flamingo如何理解图文？ ，人工智能，计算机视觉，大模型，AI，在当今人工智能飞速发展的时代，视觉 - 语言模型作为多模态领域的关键技术，正逐渐改变着我们与数字世界交互的方式。它们致力于打破图像与文本之间的模态壁垒，使计算机能够像人类一样，综合理解和处理视觉与语言信息。其中，BLIP 和 Flamingo 两款模型脱颖而出，以独特的架构和创新的训练方法，在图像描述生成、视觉问答、图文检索等任务中展现出卓越的性能。本文将深入剖析 BLIP 与 Flamingo 模型的工作原理。
多模态大模型（3）--BLIP-2
burstone的专栏
11-19 1672
大模型如火如荼，研究者们已经不再满足于基本文本的大语言模型（LLM, Large Language Model），AI领域的热点正逐步向多模态转移，具备多模态能力的多模态大型语言模型（MM（Multi-Modal）-LLM）就成了一个备受关注的研究主题。
5行代码搞定图像理解：BLIP2-OPT-2.7B极速上手教程
最新发布
gitblog_00159的博客
09-21 634
你还在为图像理解模型部署繁琐而头疼？还在为GPU内存不足而放弃视觉任务？本文将用5行核心代码带你玩转BLIP2-OPT-2.7B模型，从环境搭建到多场景实战，让你10分钟内拥有专业级图像内容理解能力。 读完本文你将获得： - 3种硬件环境的部署方案（CPU/GPU/低显存GPU） - 5个实战场景的完整代码模板（图像描述/视觉问答/多轮对话等） - 显存优化指南与性能对比表 - 常见错误解决方案...
【多模态大模型】BLIP-2：低计算视觉-语言预训练大模型
Debroon
02-04 2403
子问题: 如何提取并学习图像的特征表示，使之能够与文本有效结合，而不需要重新训练图像编码器？子解法使用Q-Former进行视觉语言表示学习。Q-Former通过与冻结的图像编码器的交互来提取视觉特征，并通过自注意力和交叉注意力层来学习这些视觉特征与相关文本之间的对应关系。之所以使用此解法，是因为冻结的图像编码器具有高质量的视觉表示，而Q-Former可以在不改变这些预训练模型的前提下，学习这些特征与文本之间的关联。
BLIP-2：下一代多模态模型的雏形
idol24的博客
03-30 1794
作者：竹鼠商人 | （源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/606364639最近ChatGPT风头正劲，但只能理解文字或多或少限制其才华的发挥。得益于Transformer在NLP和CV领域的大放异彩，多模态近几年取得了非常大的进步。但之前的工作大多数局限在几个特定的，比如VQA，ITR，VG等任务上，限制了其应用。最近，Junnan Li大佬挂出了...
BLIP-2
whaosoft143ai的博客
03-31 1385
下一代多模态模型的雏形最近ChatGPT风头正劲，但只能理解文字或多或少限制其才华的发挥。得益于Transformer在NLP和CV领域的大放异彩，多模态近几年取得了非常大的进步。但之前的工作大多数局限在几个特定的，比如VQA，ITR，VG等任务上，限制了其应用。最近，Junnan Li大佬挂出了他最新的杰作BLIP2。让我对多模态模型有了一些新的认识，希望通过本文分享一下我的想法。 whaosoft aiot http://143ai.com
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Mode
kebijuelun的博客
03-11 1862
BLIP-2通过一个轻量级的 Querying Transformer （Q-Former是一个轻量级的 transformer，它使用一组可学习的查询向量来从冻结图像编码器中提取视觉特征，为LLM提供最有用的视觉特征，以输出所需的文本） 弥补了模态 gap，该 Transformer 分两个阶段进行预训练。本文提出了BLIP-2，这是一种通用而有效的预训练策略，它从现成的冻结预训练图像编码器和冻结的大型语言模型中引导视觉语言预训练。finetune 后精度明显提升，达到 SOTA 结果。
BLIP-2革新多模态预训练：QFormer桥接视觉语言，零样本任务性能飙升10.7%！
weixin_52610848的博客
09-11 745
BLIP-2在视觉语言预训练领域做出了显著改进，主要聚焦于模态对齐和高效训练两大方面。为解决模态对齐问题，BLIP-2引入了QFormer（Querying Transformer），一个轻量级架构，作为图像与文本特征之间的桥梁。在高效训练方面，BLIP-2采用了一种两阶段预训练策略，旨在连接当前先进的视觉骨干网络与大模型。在VQAv2任务上，尽管使用的训练数据量仅为Flamingo80B的一小部分，但BLIP-2依然实现了10.7%的显著精度提升。
大模型学习笔记------BLIP模型详解与思考
gz7seven
11-12 2351
本文主要讲述CLIP大模型，对网络结构等进行了详细说明，同时对自己的思考进行了表述。
多模态大模型之BLIP-2
薛定谔的猫的博客
12-17 1655
1. 为什么要冻结图像编码器和语言模型的参数？可以显著降低训练的计算成本，因为不用更新这些大型模型的参数。可以避免灾难性遗忘，保留单模态预训练模型中已经学习到的丰富知识。2. Q-Former 的作用是什么，为什么需要它？Q-Former 起到了桥梁的作用，在冻结的图像编码器和语言模型之间传递信息。可以看做类似Prompt-Tuning中的一种可学习的「软提示」。
万字长文解读深度学习——多模态模型BLIP2
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
11-29 2255
本文解读BLIP2论文，阐述BLIP2在BLIP基础上的改进。
BLIP-2：冻结现有视觉模型和大语言模型的预训练模型
m0_51976564的博客
11-20 7575
BLIP-2：冻结现有视觉模型和大语言模型的预训练模型 Blip-2: Bootstrapping language-image pre-training with frozen image encoders and large language models
音视频开发之旅(94)-多模态之Blip-2
yabin的专栏
09-17 1805
如果基于LLM进行finetune微调，直接将单模态的模型加入到多模态的联合训练 可能会出现灾难性遗忘的问题。将图像Transformer输出的Query representation（图像查询表征）Z 与 文本Transformer的文本表征 T 进行对齐，其中T是[CLS]的输出向量，由于Z包含多个输出向量（每个Query一个共有，Q-Former网络中有个32个Query，每个的维度768维），首先计算每个Query输出与t之间的相似度，然后选择最高的一个做为图像文本相似度。
【多模态】BLIP-2模型技术学习
威化饼的一隅
11-09 2253
最近多模态模型特别火，从头开始学习！在前面写的几篇里面学习了MiniCPM-V、ViT、CLIP和BLIP之后，今天学习一下BLIP-2模型，记录学习过程，主要是模型架构、训练方式和相关源代码的理解。欢迎批评指正，一起学习~~
使用blip2进行图片输入文本输出
qq_44442727的博客
12-15 5079
期间碰到了transformer的问题，从transformer库导入有问题，我降低了版本，我目前的版本是。多模态的重要模型blip2,官方提供模型可以直接用来图片生成文本。把上面页面中的所有文件下载下来，放到blip2的工作空间中。或者根据个人需求改成批量化生成文本的代码也可以。一般是下载上面这个模型，也有其他的可以下载，期间如果提示缺什么库，按要求装上就可以了。然后就可以跑官方提供的demo了。
技术前沿 |【大模型BLIP-2的多模态训练】
尺小闹的博客
06-10 1414
BLIP-2是一种新型的大型多模态模型，它通过融合视觉和语言信息，实现了跨模态的理解和生成。该模型在多个数据集上取得了优异的性能，包括图像描述生成、视觉问答等任务。然而，由于其庞大的模型规模和复杂的训练过程，BLIP-2的训练成本极高，这限制了其在更多场景下的应用。
多模态大语言模型（MLLM）-Blip2深度解读
Jamence的博客
10-07 3208
Blip2深度解读
BLIP多模态
03-20
### BLIP多模态模型概述 BLIP（Bridging Language and Vision with Pre-training）是一种先进的多模态预训练框架，旨在...上述代码片段展示了如何使用Hugging Face库加载BLIP模型并对一张图片生成对应的自然语言描述。
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值