VLM小模型元年！提示学习驱动知识蒸馏新方法 | CVPR'24

最新推荐文章于 2025-04-21 16:21:13 发布
最新推荐文章于 2025-04-21 16:21:13 发布
阅读量408 收藏
点赞数
文章标签： 学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzU0NTAyNTQ1OQ==&mid=2247537684&idx=2&sn=52b31bc68a05d1e04ff3b14a69fc6812&chksm=fa1763e2ab3441a04a8b852ca5d9df108c907ccc2bb202a3b0b9f80e6e685332af6b9c4938c4&scene=126&sessionid=0
版权

自从谷歌提出ViT、Open AI发布CLIP，视觉语言模型（VLM）便成为了研究热点，凭借跨模态处理和理解能力，以及零样本学习方法，为CV领域带来了重大革新，但由于大模型体量及泛化的限制，今年多家巨头开启了模型压缩技术的角逐，其中，知识蒸馏的教师-学生模型效果显著，一项基于提示学习的VLM蒸馏新方法，也被顶会CVPR'24关注收录！

5652c2e2e771ecf588d8b31296d8c793.png

为了帮助大家综合掌握，集VLM、知识蒸馏、提示工程一体的创新成果，研梦非凡于9月4日晚（周三），邀请了从事多模态大模型研究的王导师，独家详解来自南开&蚂蚁集团的CVPR'24研究《PromptKD：基于提示学习的VLM蒸馏新方法！》（AI前沿直播课NO.65），从VLM、Knowledge Distillation、Prompt Learning的知识回顾，到PromptSRC等顶会相关工作，重点讲解PromptKD方法原理、提示蒸馏过程及实验研究，1节课get前沿视野及论文idea！

👇🏻扫描二维码找助教0元预约直播课！

c4cd56abcebd8d85738db3c7d55d966c.png

凡预约即可免费领取300篇精选论文（50篇VLM蒸馏+50篇提示工程+100篇多模态+100篇LLM/VLM）+文末还有算力等科研福利！

e95dd98e68ccd238cbb436642c688064.gif

unsetunset直播课内容概览unsetunset

01 研究背景

  1. 关注的问题

  2. 本文主要贡献

  • 无监督领域特定提示驱动知识蒸馏

  • 预存储文本特征

  • 教师-学生范式

  • 广泛的实验验证

02 知识准备

  1. 视觉语言模型（VLM）

  • 经典模型CLIP介绍

  • CLIP特点与架构

  1. 知识蒸馏（Knowledge Distillation）

  • 什么是知识蒸馏？

  • 为什么要知识蒸馏？

  • 知识蒸馏的原理：Teacher、Student模型

  • 知识蒸馏的分类：基于目标、基于特征的蒸馏

  1. 提示学习（Prompt Learning）

  • Prompt-Tuning的优缺点

  • Prompt-Tuning的代表性工作

👇🏻扫描二维码找助教0元预约直播课！

6998e97833b7a1553e2382e6475a58f4.png

凡预约即可免费领取300篇精选论文（50篇VLM蒸馏+50篇提示工程+100篇多模态+100篇LLM/VLM）+文末还有算力等科研福利！

03 相关工作

  1. PromptSRC（ICCV'23）

  • 简介：自我调节的提示学习框架，解决了提示过拟合问题，以实现更好的泛化

  • 框架原理

04 PromptKD详解（CVPR'24）

  1. 方法简介

  2. 两阶段训练流程

  • Prompt Learning

  • 通过促进快速模仿来启动蒸馏过程，鼓励学生模型生成与教师模型相似的预测

  1. 伪代码

05 实验研究

  1. 实验一

  • 实验指标、数据集等

  • 实验设置

  1. 实验二

  • 实验流程

  1. 消融实验

06 总结和展望

导师介绍

王导师

【学术背景】985硕出身，拥有丰富的深度学习研究、论文发表经验，多篇SCI论文、EI会议论文（一作）

【研究方向】大语言模型、视觉语言模型、多模态学习，以及自然语言处理、进化算法等

👇🏻扫描二维码找助教0元预约直播课！

8773007dd351ba8bac5ae4fc3191f784.png

凡预约即可免费领取300篇精选论文（50篇VLM蒸馏+50篇提示工程+100篇多模态+100篇LLM/VLM）+文末还有算力等科研福利！

unsetunset研梦非凡科研论文指导方案unsetunset

idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

7d208e1a24e13fbf271f20ad8e54ef01.jpegff0e2047b53dfb586577300886bb125f.jpeg

<<< 左右滑动见更多 >>>

👇🏻扫描二维码咨询助教两种指导方案

9bf6dbe335549d23c275547a37f963a7.png

unsetunset研梦非凡部分导师介绍unsetunset

研梦非凡导师团队，来自海外QStop200、国内华五、C9、985高校的教授/博士导师/博士后，以及世界500强公司算法工程师、国内外知名人工智能实验室研究员等。

这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～

7d66af2f5b27055eee5108289d12df10.png08fab17a0309564930700c8f851818c1.pngb12a87295cbc67e81b663d2e19191795.pnga1638d90cd95cacda07513af46b4f3c9.png

<<< 左右滑动见更多 >>>

👇🏻扫码加助教为你匹配合适课题的大牛导师

f47a4449f41cbb8baaf802878cfd2e24.png

unsetunset研梦非凡科研福利unsetunset

🌟90分钟人工智能零基础入门课免费领

🌟7小时科研论文写作系列课免费领

🌟年度会员福利价129元（原价2999）

🌟50小时3080GPU算力免费领

🌟百篇8月论文资料大合集免费领

👇🏻 扫码领取以上5重粉丝专属科研福利！

3146fce4636fad55c71098a397ff6e53.png

b7e5fa7fc00cfc9ea946c7133edc4400.jpeg

自动驾驶---基于视觉语言模型的自动驾驶
智能汽车人的博客
04-27 737
VLM-AD是一种通过利用视觉语言模型（VLM）作为辅助 “教师” 来增强端到端自动驾驶模型的新方法。通过包含非结构化推理文本和结构化动作标签的针对性问题来整合基于 VLM 的标注信息，在训练过程中加入了额外的推理和动作监督，丰富了训练内容。在 nuScenes 数据集上显著提高了规划的准确性，并降低了碰撞率，同时通过动作预测使其输出轨迹具有可解释性。重要的是，VLM-AD 在推理过程中不需要视觉语言模型（VLM），这使得它能够即插即用地应用于现实场景的部署中，而无需额外的推理成本。
llm模型简单理解，举例说明；vlm模型简单理解，举例说明VLM；模型的应用；
ZJQ的博客
05-15 652
llm模型简单理解，举例说明；vlm模型简单理解，举例说明VLM；模型的应用；
CVPR 2024 | PromptKD: 基于Prompt的视觉语言模型蒸馏新方法
深度学习技术前沿
03-12 715
来源：CVHub标题：《PromptKD: Unsupervised Prompt Distillation for Vision-Language Models》主页：zhengli97.github.io/PromptKD论文：https://arxiv.org/pdf/2403.02781.pdf代码：https://github.com/zhengli97/PromptKD （已开源，欢迎...
【研究学习】知识蒸馏和模型蒸馏技术
Glass_Gun的博客
02-19 799
Hinton在2015年提出知识蒸馏。（基础，奠定开山之作） 使用教师模型的输出logits作为软标签，通过调整温度参数来让学生模型学习。 论文：Distilling the Knowledge in a Neural Network结合量化与蒸馏的技术，这样可以在压缩模型大小的同时保持性能。 论文：Model compression via distillation and quantization针对BERT模型的一种蒸馏方法，学生从教师多个中间层学习，不仅限于学习最后一层，属于中间层蒸馏的一种。 参考
第06篇：多任务与多模态知识蒸馏 —— 教得多，学得全？
最新发布
m0_45101613的博客
04-21 965
多任务蒸馏 ≈压缩多能学生，提升实用性；多模态蒸馏 ≈打通知识维度，提升语义理解能力；未来方向：多模态 LLM（如 GPT-4V）知识迁移到轻量模型；多模态统一表征的蒸馏方法；跨模态对比蒸馏 + 生成蒸馏融合。
VLM视觉语言大模型在智能驾驶中的应用
yuanl15的博客
09-05 4040
即带条件的目标检测，用语言指示模型识别图像中特定目标。和Object Referring相比，Object Referring Tracking会根据自然语言描述在连续帧中对目标进行跟踪。开放式3D目标检测，利用VLM的zero-shot能力检测场景中在白名单之外的目标类型。交通场景视觉问答，这需要vlm的高维场景理解能力。自动驾驶领域的问答可以划分为感知、规划、空间推理、时序推理、因果逻辑推理。感知问题可以用来识别交通参与者，如外观描述、存在性、数量、状态等。
自动驾驶热点VLM（视觉语言模型）！又一次突破！
CV_Autobot的博客
08-29 704
自从谷歌提出ViT、Open AI发布CLIP，视觉语言模型（VLM）便成为了研究热点，凭借跨模态处理和理解能力，以及零样本学习方法，为CV领域带来了重大革新，今年CVPR'24自动驾驶挑战赛中，VLM也是参赛人数最多的赛道，围绕环境感知提升等，应用方案百花齐放，而为了性能不变下压缩模型体量，CVPR'24收录了一项突破性工作，VLM提示蒸馏新方法PromptKD！为了帮助大家综合掌握，集VLM、...
挑战更复杂场景！DriveGenVLM：首个基于VLM的自动驾驶世界模型
CV_Autobot的博客
09-04 1069
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『大语言模型』技术交流群编辑 | 自动驾驶之心写在前面&个人理解自动驾驶技术的进步需要越来越复杂的方法来理解和预测现实世界场景。视觉语言模型（VLMs）正作为具有显著潜力影响自动驾驶的革命性工具而崭露头角。本文提出了DriveGenVLM框架，用于生成驾驶视频并利用...
VLM（视觉语言模型）综述
qq_46981910的博客
08-30 1万+
对视觉语言多模态的模型进行介绍，涉及CLIP、GLIP、VLMo、Flamingo、BLIP等等。 VLMs的分类：根据VLM的输入处理和输出生成能力将其分为三个不同的组： 视觉语言理解模型：专门为视觉信息与语言的解释和理解而设计的模型 多模态输入文本生成模型：擅长利用多模态输入（如图像、视频和文本）来生成文本内容 多模态输入多模态输出模型：不仅接受多模态输入，还能产生多模态的输出
大模型---一文看懂视觉语言大模型VLM
智能汽车人的博客
03-19 1127
在之前的博客中，为读者朋友们详细介绍了LLM大语言模型的预训练，微调以及强化学习的详细过程。在上篇博客最后一段，笔者放了一张截图，ChatGPT的创始人卡帕西也说，未来的大模型会朝着多模态，多任务等方向发展。在多模态中，就涉及到音频，图片以及视频等。音频通过识别也会转成语言，本质上和大语言模型原理相同，因此本篇博客自然过渡到视觉语言模型VLM。不管在工作项目还是生活当中，笔者也常常接触大模型。作为大模型的使用者，其确实给生活和工作带来了不少变革，这两年学习大模型也成为了生活中的一部分。
揭秘In-Context Learning(ICL)：大型语言模型如何通过上下文学习实现少样本高效推理[示例设计、ICL机制详解]
丨汀、的博客
06-14 2198
揭秘In-Context Learning(ICL)：大型语言模型如何通过上下文学习实现少样本高效推理[示例设计、ICL机制详解]
医图论文 CVPR‘24 | 适应医学图像中泛化异常检测的视觉-语言模型
小白学视觉
01-08 96
近期，大规模视觉语言预训练模型在自然图像领域的零样本/少样本异常检测中取得了显著进展。然而，自然图像与医学图像之间的巨大领域差异限制了这些方法在医学异常检测中的有效性。本文介绍了一种新颖的轻量级多级适应和比较框架，以重新利用CLIP模型进行医学异常检测。作者的方法将多个残差适配器集成到预训练的视觉编码器中，实现了视觉特征在不同层级的逐步增强。这种多级适应由多级、逐像素的视觉语言特征对齐损失函数引导，重新校准模型的焦点，从自然图像中的对象语义转移到医学图像中的异常识别。
什么是视觉语言模型？一文深度看懂视觉语言模型 (VLM)
Androiddddd的博客
01-07 2148
很长一段时间以来，人工智能（AI）能够像人类一样有效地理解视觉和文本线索的想法似乎遥不可及且难以想象。然而，随着多模态人工智能的出现，我们看到了一场革命，人工智能可以同时理解各种模态，如文本、图像、语音、面部表情、生理手势等，以理解我们周围的世界。处理多种模态的能力为人工智能应用开辟了各种途径。多模态 AI 的一个令人兴奋的应用是视觉语言模型 (VLM)。这些模型可以同时处理和理解语言（文本）和视觉（图像）的模态，以执行高级视觉语言任务，例如视觉问答 (VQA)、图像字幕和文本到图像搜索。
碰撞率降低57.4%！VLM-AD显著提升自动驾驶规划准确性，无需VLM实时推理
soaring_casia的专栏
03-09 1022
端到端自动驾驶（AD）将感知、预测和规划整合到一个框架中，旨在协调检测、跟踪等复杂任务。近期方法通过传感器数据生成自我轨迹，但面对复杂场景时性能下降。人类驾驶员通过推理环境有效应对挑战，而现有模型依赖于轨迹点序列监督，缺乏推理信息。手动标注推理信息成本高且耗时，难以获得高质量标注。大型基础模型如视觉-语言模型（VLMs）提供了替代方案，增强了驾驶系统的推理能力。然而，直接整合这些模型需要大量微调，并增加训练和推理时间，使其不适用于实际应用。
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
afanti_1的博客
04-16 1518
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding VLM：用于视频理解的任务无关的视频语言模型预训练
Co-Driver：基于 VLM 的自动驾驶助手，具有类人行为并能理解复杂的道路场景
yorkhunter的博客
05-13 1154
24年5月来自俄罗斯莫斯科研究机构的论文“Co-driver: VLM-based Autonomous Driving Assistant with Human-like Behavior and Understanding for Complex Road Scenes”。
VLM 简介：计算机视觉模型的未来 使用 VLM 构建准确率提高 28% 的多模式图像搜索引擎
iCloudEnd的博客
11-11 111
具有数十亿甚至数千亿个参数的LLM已不再是新鲜事物。我们随处可见它们！LLM 研究的下一个重点更倾向于开发多模式模型（全模型）——可以理解和处理多种数据类型的模型。顾名思义，这些模型不仅可以处理文本，还可以分析图像、视频和音频。但我们为什么要这么做呢？万事通，一事无成，但往往比精通一门要好。近年来，我们看到了一种趋势，即通用方法主导狭义方法。想一想。如今，语言驱动的 ML 模型已经变得相对先进和通用。一个模型可以完成翻译、总结、识别语音标签等多项功能。
视觉语言模型详解【VLM】
热门推荐
新缸中之脑
05-20 2万+
视觉语言模型被广泛定义为可以从图像和文本中学习的多模态模型。它们是一种生成式模型，可以接受图像和文本输入并生成文本输出。大型视觉语言模型具有良好的零样本能力，具有良好的泛化能力，并且可以处理多种类型的图像，包括文档、网页等。用例包括谈论图像、通过指令进行图像识别、视觉问答、文档理解、图像字幕等。一些视觉语言模型还可以捕获图像中的空间属性。当系统提示检测或分割特定主题时，这些模型可以输出边界框或分割掩码，也可以定位不同的实体或回答有关其相对或绝对位置的问题。
视觉语言模型（VLM）学习笔记
jacke121的专栏
11-28 2428
视觉语言模型（VLM）学习笔记
VLM 视觉语言大模型学习路线
03-18
<think>嗯，用户想了解视觉语言大模型（VLM）的学习路径和资源。首先，我需要整理现有的引用内容，看看里面提到哪些关键点。引用1提到了PyTorch构建VLM的教程和视频资源，引用2讨论了链式推理在VLM中的应用，引用3则详细说明了VLM的预训练策略、训练阶段和数据需求。这些应该是回答的基础。 接下来，用户需要的是学习路线，包括书籍、教程、课程等资源。根据引用3的结构，可能应该分阶段来规划学习路径，比如先基础知识，再进阶学习，然后实践和深入研究。需要确保每个阶段都有对应的资源推荐，比如书籍推荐《深度学习入门》和《计算机视觉》，课程可能包括李飞飞的CS231n，或者吴恩达的深度学习课程。 然后，资源推荐部分要涵盖开源项目，比如CLIP、BLIP，以及PyTorch和Hugging Face库，这些都是构建VLM常用的工具。此外，用户提到的引用1中的视频教程应该被包含进去，作为专门整理的学习资源。 还要考虑用户可能的背景，是否需要先补充基础知识，比如深度学习、计算机视觉和自然语言处理。然后进阶到VLM的具体内容，比如模型架构、预训练策略，再到应用和优化技巧。最后，实践部分可能需要推荐数据集和实战项目，帮助用户巩固知识。 另外，用户的问题中生成的相关问题需要覆盖VLM的核心技术、优化方法、应用场景以及学习难点，这样他们可以进一步探索。要确保引用正确，每个引用对应到回答中的相应部分，比如引用3提到的预训练阶段，在回答中要标注引用标识。 可能还需要检查是否有其他资源未被引用但常用的，比如论文、GitHub项目，但根据给定的引用，可能需要限制在已有信息内。最后，确保回答结构清晰，分阶段和模块，便于用户逐步学习。</think>以下是针对视觉语言大模型（VLM）的系统化学习路径规划与资源推荐： ### 一、基础知识准备阶段 1. **深度学习基础** - 必学内容：神经网络基础、反向传播、CNN/RNN/Transformer架构 - 推荐资源： - 图书：《深度学习入门：基于Python的理论与实现》[^3] - 课程：吴恩达《深度学习专项课程》（Coursera） 2. **计算机视觉基础** - 重点掌握：图像特征提取、目标检测、视觉表征学习 - 推荐实践：PyTorch框架下的图像分类项目[^1] 3. **自然语言处理基础** - 核心知识点：词嵌入、注意力机制、生成式模型 - 推荐课程：斯坦福CS224n《自然语言处理与深度学习》 ### 二、VLM核心技术进阶 1. **模型架构专题** - 关键组件学习： - 视觉编码器：CLIP/SigLIP实现原理 - 语言解码器：Llama/GPT结构解析 - 跨模态投影器：向量空间对齐技术 - 推荐论文：《Learning Transferable Visual Models From Natural Language Supervision》 2. **训练策略精讲** ```python # 典型的三阶段训练代码结构示例 class VLM(nn.Module): def __init__(self): self.vision_encoder = FrozenCLIP() # 冻结的视觉编码器 self.text_decoder = LlamaForCausalLM() self.projection = LearnableProjector() # 可训练投影器 ``` - 阶段1：仅训练投影器（1-2周） - 阶段2：联合微调解码器（3-4周） - 阶段3：指令微调（2-3周） 3. **链式推理强化** - 重点突破：CoT（Chain-of-Thought）在跨模态任务中的应用[^2] - 案例实践：VQA任务中的分步推理实现 ### 三、优质学习资源导航 | 资源类型 | 推荐内容 | 特点说明 | |---------|---------|---------| | **视频教程** | [VLM全栈开发教程](引用1) | 含完整路线图与项目实战 | | **开源项目** | CLIP/BLIP代码库 | 官方实现+社区改进版 | | **论文合集** | arXiv最新论文集 | 跟踪SOTA模型进展 | | **实践平台** | Kaggle VLM竞赛 | 真实场景数据挑战 | ### 四、实战提升路径 1. **基础实验** - 使用HuggingFace库复现BLIP模型 - 在COCO数据集上完成图文匹配任务 2. **进阶挑战** - 实现自定义投影器模块 - 探索多模态指令微调策略[^3] 3. **创新方向** - 改进跨模态注意力机制 - 设计新型链式推理框架 ### 五、常见学习误区提醒 1. **不要跳过预训练阶段**：直接微调现成模型会导致基础不牢 2. **警惕数据泄露**：注意训练/验证集划分比例 3. **硬件准备建议**：至少需要16GB显存的GPU进行中等规模实验
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值