《深入浅出多模态》（七）多模态经典模型：BLIP2

已于 2024-08-18 14:55:57 修改
阅读量806 收藏 3
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 深入浅出多模态 文章标签： 多模态 人工智能 大模型 BLIP2 LLM
于 2024-04-28 10:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36816848/article/details/137998708
本文深入探讨了多模态经典模型BLIP2，介绍了其预训练步骤、整体结构，包括图文匹配、对比学习和生成任务。BLIP2通过Q-Former弥合视觉和语言模型的模态隔阂，实现表征学习和生成学习。此外，还讨论了其在预训练时如何利用冻结的图像编码器和大规模语言模型降低成本和避免遗忘问题。

在这里插入图片描述

🎉AI学习星球推荐： GoAI的学习社区 知识星球是一个致力于提供《机器学习 | 深度学习 | CV | NLP | 大模型 | 多模态 | AIGC 》各个最新AI方向综述、论文等成体系的学习资料，配有全面而有深度的专栏内容，包括不限于 前沿论文解读、资料共享、行业最新动态以、实践教程、求职相关（简历撰写技巧、面经资料与心得）多方面综合学习平台，强烈推荐AI小白及AI爱好者学习，性价比非常高！加入星球➡️点击链接

✨专栏介绍： 本作者推出全新系列《深入浅出多模态》专栏，具体章节如导图所示（导图后续更新），将分别从各个多模态模型的概念、经典模型、创新点、论文综述、发展方向、数据集

了解本专栏 订阅专栏 解锁全文 超级会员免费看
《深入浅出多模态》（六）: 多模态经典模型BLIP
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-20 979
本文为《深入浅出多模态》系列多模态经典模型BLIP，首先从整体介绍多模态模型发展，对其中经典BLIP模型进行详述，从具体论文、数据集、代码、模型结构、结果等角度分析，本专栏适合从事多模态小白及爱好者学习，欢迎大家关注，如有侵权请联系删除！
《深入浅出多模态》下：多模态模型项目实战
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
12-30 1821
本篇内容承接前两篇《深入浅出多模态》之多模态技术总结（上）、《深入浅出多模态》中：多模态模型原理总结，首先将围绕不同多模态模型的对齐方法对经典多模态模型进行对比与总结，并挑选主流的多模态模型CLIP、BLIP、BLIP2等展开详细介绍，最后引入厂内多模态框架PaddleMIX进行多任务实战，帮助大家快速了解多模态技术。
《深入浅出多模态》（十一）之多模态经典模型：Flamingo系列
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
06-30 1203
《深入浅出多模态》系列之Flamingo模型解析： Flamingo是DeepMind推出的多模态视觉语言大模型，以少样本/零样本学习为核心突破。2022年首版通过模块化架构（冻结的ViT视觉编码器+Perceiver Resampler+语言模型）实现图文跨模态交互，支持连续对话和上下文学习。2024年Flamingo-2进一步开放权重，增强视频理解能力，在VQA等任务表现优异。其技术亮点包括：可插拔视觉模块、高效特征降维、端到端联合训练，影响了LLaVA等后续模型发展。
《深入浅出多模态》（八）多模态经典模型：MiniGPT4
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-18 803
本文对MiniGPT-4的论文、模型结构、训练过程进行总结。MiniGPT-4 旨在将来自预训练视觉编码器的视觉信息与高级大型语言模型（LLM）对齐。总体采用和 BLIP-2 相同的架构，使用BLIP-2相同的视觉编码器，即 ViT 骨干 及其预训练的 Q-Former，只不过 LLM 换成 Vicuna（基于 LLaMA）。只对线性层进行训练。而且使用 指令微调 的方法。比 BLIP-2 强上一截，后续文章将继续介绍 MiniGPT-v2、MiniGPTv5等改进模型。
《深入浅出多模态》（十）之多模态经典模型：LLava系列
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
09-11 563
本文为《深入浅出多模态》系列：多模态经典模型 LLaVA（Large Language and Vision Assistant）详解。LLaVA 系列将图像理解能力无缝融入大语言模型中，实现了从“看图说话”到“看图聊天”的跃迁。本文围绕 LLaVA 模型展开分析，重点介绍其图像特征输入方式、视觉对齐技术、不同版本演进，LLaVA 系列借助指令微调与图文对齐数据，在保持语言模型能力的同时，最大化保留了图像语义信息与交互能力，成为目前社区使用最广、适配性最强的多模态基座模型之一。
《深入浅出多模态》（十二）之多模态经典模型：KOSMOS系列
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-11 1376
| 强调视觉与语言融合 | | GPT-4V | OpenAI | 2（文本+图片） | 大模型推理、多模态理解 | 视觉对话、逻辑推理 | 闭源，商业API | | Gemini | Google | 3+（文本+图片+视频） | 跨模态检索、动态推理 | 视频问答、跨模态搜索 | 多模态能力最强，但未开源 | | LLaVA | 微软/开源 | 2（文本+图片） | 高效轻量化、指令微调 | 视觉对话、多模态推理 | 开源社区广泛使用 | 五、快速体验KOSMOS 官方渠道： 目前KOSMOS-1、KO
《深入浅出多模态》（一）：多模态模型论文最全总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-24 4213
本文为《深入浅出多模态》系列第一章，《多模态模型论文最全总结》将从整体介绍多模态模型发展，结合综述对各个模型按照发展时间线及发展对应关系进行介绍，后续将对其中经典及最新多模态模型进行解决，从具体论文、数据集、代码、模型结构、结果等角度分析，本专栏适合从事多模态小白及爱好者学习，欢迎大家关注，如有侵权请联系删除！
《深入浅出多模态》（九）多模态经典模型：MiniGPT-v2、MiniGPT5
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-18 820
本文文章主要介绍 MiniGPT-v2、MiniGPTv5等改进模型， MiniGPT-v2模型以ViT视觉主干为基础，所有训练阶段都保持不变。从ViT中归纳出四个相邻的视觉输出标记，并通过线性层将它们投影到 LLaMA-2语言模型空间中。对多模态模型进行指令集微调，通过不同的instruction来实现不同的任务。 MiniGPTv5则使用了 Stable Diffusion 2.1 和多模态模型 MiniGPT-4 作为文本到图像生成模型。可以根据文本描述生成高质量、高分辨率的图片。
多模态大模型综述：BLIP-2详解（第二篇）
lovep1的博客
08-03 1022
1、为什么提出: VLM全参训练参数量太大,直接训练有问题 2、怎么做: 增加一个Qformer模块大幅度减少参数量(54x) 3、怎么训练: 继承BLIP的预训练+图文生成式预训练 4、什么结果: 训练速度超快且效果SOTA
【论文速递】2025年第34周(Aug-17-23)(Robotics/Embodied AI/LLM)
淋曦的进击手记
12-07 993
自我监督的学习有望消除对手动数据注释的需求，从而使模型能够毫不费力地扩展到大规模的数据集和较大的体系结构。通过不针对特定的任务或领域量身定制，这种训练范式有可能使用单个算法从不同的来源学习视觉表示形式，从自然到航空图像。该技术报告介绍了Dinov3，这是通过利用简单而有效的策略来实现这一愿景的主要里程碑。首先，我们利用仔细的数据准备，设计和优化来扩展数据集和模型大小的好处。其次，我们介绍了一种称为GRAM锚定的新方法，该方法有效地解决了长期训练时间表中已知但未解决的密集特征映射降解的问题。
人工智能的基石之三：硬件
最简单的方法，解决最实际的问题。
12-05 659
高性能硬件是人工智能的基石，尤其是在机器学习和深度学习领域，海量数据是常态。从充当计算机大脑的中央处理器 (CPU) 到加速计算的图形处理器 (GPU)，硬件的作用是提供处理和运行复杂数据算法所需的原始能力。
AI泡沫什么时候破？
脑极体
12-04 695
而AI企业面对的短期形势，可能更为严峻。而AI公司和技术服务商，为了迎合决策者或拿下B端大项目，往往不计成本的低价竞标，无视人工成本的驻场开发，技术价值让位于领导偏好，企业自身也深陷人效黑洞，沦为挣辛苦钱的技术外包。To B/G不赚钱，To C也卖不上价，所以目前AI领域唯一清晰的商业模式，就是类似英伟达的“卖铲人”模式，卖加速卡和算力的企业成了这一轮AI浪潮的最大受益人。去伪存真之后，资本会冷却，叙事会修正，共识会重新凝聚，而那些持续追问“AI如何创造真实价值”的人，会与行业一同穿越周期，走向成熟。
【AI是否能替代IT从业者？】
博文致力于人工智能算法的探索研究；前后端分离项目的技术分享交流；专升本计算机基础课程内容讲解；各种中间件技术分享
12-03 1167
2025年IT行业面临AI深度重构：基础开发、测试、运维岗位替代率超60%，但AI相关新兴岗位激增380%。人类在复杂系统设计、伦理决策和跨界融合领域仍具不可替代性。微软等企业实践显示，人机协作可使效率提升40%。从业者需转型高价值领域（如Agent开发、大模型工程），掌握"技术+领域"双轨能力。AI本质是职业生态重构器，持续学习者的薪资溢价可达150%。建议立即评估岗位AI暴露指数，优先学习分布式架构优化、多智能体开发等技能。
宝马，如何建设一座AI汽车工厂？｜产业AI案例
chanyejiawang的博客
12-08 554
AI汽车时代来袭
神经网络 | 从线性结构到可学习非线性
画心
12-08 450
CNN、Transformer、ONN（Operational Neural Network）和KAN
建筑数字孪生与AI：工地数据化与智能决策解析
Azhiyuanshijie的博客
12-04 350
数字孪生整合BIM模型、无人机影像、传感器数据，构建工地虚拟模型。施工状态、材料使用、设备运行数据被实时采集，支撑预测与优化。服务，将算法嵌入实际施工管理系统，实现数据采集、分析、优化和决策闭环。系统可与BIM、ERP集成，形成完整数字孪生解决方案。通过虚拟映射和AI算法，施工过程从经验驱动转向数据驱动。数字孪生+AI，让工地变成“数据实验室”，提升效率、降低风险，并推动建筑企业迈向智能化时代。，企业可展示施工技术实力，实现品牌影响力和潜在客户转化。：AI提出最优施工方案，提升效率和安全。
AI大模型中的MCP协议核心设计原理
猫哥 的沉淀、积累、总结。天天学习，好好向上...c/c++,嵌入式 linux,Android,HarmonyOS，AIOT)
12-07 608
MCP协议是Anthropic提出的标准化AI模型与外部工具交互的通信协议。文章从核心设计、路由机制、安全控制三方面解析MCP：采用JSON-RPC 2.0增强实现，支持多种通信模式；通过动态注册表和智能路由策略实现分布式调度；设计安全沙箱保障执行安全。企业案例显示其延迟<120ms、可用性达99.995%。MCP显著提升工具接入效率，降低40%+资源消耗，推动AI工具生态发展。
获客软件VertGrow AI销冠助力全新私域获客策略
VertGrow的博客
12-08 393
在竞争激烈的市场中，获客软件VertGrow AI销冠成为企业实现主动获客的重要工具。VertGrow AI销冠凭借先进的AI技术，助力企业制定全新私域获客策略，通过精细化管理，提高客户转化率，实现高效获客。无论是小型创业公司还是大型企业，都能通过这一解决方案获得显著提升，开启高效的客户获取之旅。
创始人IP与AI融合：重构信任与引领变革
最新发布
ckjrxdn的博客
12-08 85
通过个人品牌的塑造，企业能够增强与用户之间的情感连接，提升认同感。举办此次峰会，是希望帮助更多中小企业家认识到技术趋势与品牌建设的重要性，从而更好地把握未来发展机遇。另一方面，人工智能能够全面提升企业在内容创作、客户转化等环节的效率，助力构建可持续的商业系统。活动汇聚了来自全球的创始人、行业专家及媒体代表，共同探讨在人工智能与个人品牌价值并重的时代背景下，企业如何应对挑战、实现持续发展。本次峰会还设置了多场主题分享与圆桌对话，聚焦人工智能的应用前景与未来商业趋势，为参会者提供了交流与合作的平台。
BLIP模型实战：多模态文本-视频打架行为检测与检索
项目利用BLIP大模型的多模态功能，可以对视频中的特定行为（如打架）进行检测，并且可以轻松扩展到其他行为的识别。项目提供了详细的执行流程，包括创建和激活conda虚拟环境，安装依赖，以及一键执行脚本。检测结果...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GoAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值