VLM小模型元年！提示学习驱动知识蒸馏新方法 | CVPR'24

最新推荐文章于 2024-08-29 16:08:22 发布
最新推荐文章于 2024-08-29 16:08:22 发布
阅读量35 收藏
点赞数
文章标签： 学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzU0NTAyNTQ1OQ==&mid=2247537684&idx=2&sn=52b31bc68a05d1e04ff3b14a69fc6812&chksm=fa1763e2ab3441a04a8b852ca5d9df108c907ccc2bb202a3b0b9f80e6e685332af6b9c4938c4&scene=126&sessionid=0
版权

自从谷歌提出ViT、Open AI发布CLIP，视觉语言模型（VLM）便成为了研究热点，凭借跨模态处理和理解能力，以及零样本学习方法，为CV领域带来了重大革新，但由于大模型体量及泛化的限制，今年多家巨头开启了模型压缩技术的角逐，其中，知识蒸馏的教师-学生模型效果显著，一项基于提示学习的VLM蒸馏新方法，也被顶会CVPR'24关注收录！

5652c2e2e771ecf588d8b31296d8c793.png

为了帮助大家综合掌握，集VLM、知识蒸馏、提示工程一体的创新成果，研梦非凡于9月4日晚（周三），邀请了从事多模态大模型研究的王导师，独家详解来自南开&蚂蚁集团的CVPR'24研究《PromptKD：基于提示学习的VLM蒸馏新方法！》（AI前沿直播课NO.65），从VLM、Knowledge Distillation、Prompt Learning的知识回顾，到PromptSRC等顶会相关工作，重点讲解PromptKD方法原理、提示蒸馏过程及实验研究，1节课get前沿视野及论文idea！

👇🏻扫描二维码找助教0元预约直播课！

c4cd56abcebd8d85738db3c7d55d966c.png

凡预约即可免费领取300篇精选论文（50篇VLM蒸馏+50篇提示工程+100篇多模态+100篇LLM/VLM）+文末还有算力等科研福利！

e95dd98e68ccd238cbb436642c688064.gif

unsetunset直播课内容概览unsetunset

01 研究背景

  1. 关注的问题

  2. 本文主要贡献

  • 无监督领域特定提示驱动知识蒸馏

  • 预存储文本特征

  • 教师-学生范式

  • 广泛的实验验证

02 知识准备

  1. 视觉语言模型（VLM）

  • 经典模型CLIP介绍

  • CLIP特点与架构

  1. 知识蒸馏（Knowledge Distillation）

  • 什么是知识蒸馏？

  • 为什么要知识蒸馏？

  • 知识蒸馏的原理：Teacher、Student模型

  • 知识蒸馏的分类：基于目标、基于特征的蒸馏

  1. 提示学习（Prompt Learning）

  • Prompt-Tuning的优缺点

  • Prompt-Tuning的代表性工作

👇🏻扫描二维码找助教0元预约直播课！

6998e97833b7a1553e2382e6475a58f4.png

凡预约即可免费领取300篇精选论文（50篇VLM蒸馏+50篇提示工程+100篇多模态+100篇LLM/VLM）+文末还有算力等科研福利！

03 相关工作

  1. PromptSRC（ICCV'23）

  • 简介：自我调节的提示学习框架，解决了提示过拟合问题，以实现更好的泛化

  • 框架原理

04 PromptKD详解（CVPR'24）

  1. 方法简介

  2. 两阶段训练流程

  • Prompt Learning

  • 通过促进快速模仿来启动蒸馏过程，鼓励学生模型生成与教师模型相似的预测

  1. 伪代码

05 实验研究

  1. 实验一

  • 实验指标、数据集等

  • 实验设置

  1. 实验二

  • 实验流程

  1. 消融实验

06 总结和展望

导师介绍

王导师

【学术背景】985硕出身，拥有丰富的深度学习研究、论文发表经验，多篇SCI论文、EI会议论文（一作）

【研究方向】大语言模型、视觉语言模型、多模态学习，以及自然语言处理、进化算法等

👇🏻扫描二维码找助教0元预约直播课！

8773007dd351ba8bac5ae4fc3191f784.png

凡预约即可免费领取300篇精选论文（50篇VLM蒸馏+50篇提示工程+100篇多模态+100篇LLM/VLM）+文末还有算力等科研福利！

unsetunset研梦非凡科研论文指导方案unsetunset

idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

7d208e1a24e13fbf271f20ad8e54ef01.jpegff0e2047b53dfb586577300886bb125f.jpeg

<<< 左右滑动见更多 >>>

👇🏻扫描二维码咨询助教两种指导方案

9bf6dbe335549d23c275547a37f963a7.png

unsetunset研梦非凡部分导师介绍unsetunset

研梦非凡导师团队，来自海外QStop200、国内华五、C9、985高校的教授/博士导师/博士后，以及世界500强公司算法工程师、国内外知名人工智能实验室研究员等。

这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～

7d66af2f5b27055eee5108289d12df10.png08fab17a0309564930700c8f851818c1.pngb12a87295cbc67e81b663d2e19191795.pnga1638d90cd95cacda07513af46b4f3c9.png

<<< 左右滑动见更多 >>>

👇🏻扫码加助教为你匹配合适课题的大牛导师

f47a4449f41cbb8baaf802878cfd2e24.png

unsetunset研梦非凡科研福利unsetunset

🌟90分钟人工智能零基础入门课免费领

🌟7小时科研论文写作系列课免费领

🌟年度会员福利价129元（原价2999）

🌟50小时3080GPU算力免费领

🌟百篇8月论文资料大合集免费领

👇🏻 扫码领取以上5重粉丝专属科研福利！

3146fce4636fad55c71098a397ff6e53.png

b7e5fa7fc00cfc9ea946c7133edc4400.jpeg

计算机视觉研究院
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
探索微软新VLM Phi-3 Vision模型：详细分析与代码示例
06-08
探索微软新VLM Phi-3 Vision模型：详细分析与代码示例
CogVLM是一个功能强大的开源可视化语言模型+人工智能+计算机视觉+自然语言处理
11-07
CogVLM是一个功能强大的开源可视化语言模型(**VLM**)。CogVLM-17B具有100亿个视觉参数和70亿个语言参数。 - CogVLM-17B在NoCaps、Flicker30k字幕、RefCOCO、RefCOCO+、refcococo、Visual7W、GQA、ScienceQA、VizWiz...
vlm.rar_VLM_飞行器_飞行器 fortran
09-14
标题中的"vlm.rar_VLM_飞行器_飞行器 fortran"表明这是一个关于飞行器设计的Fortran编程项目，文件已经压缩为rar格式。VLM是Vehicle Landing and Maneuvering（车辆着陆和操纵）的缩写，可能是指这个程序专注于飞行...
VLM.rar_VLM_升力
09-19
用VLM编制了二维机翼的升力计算，与课本上的算例一致
vlm.zip_VLM_lifting_propeller_propeller design_theory
07-14
propeller design with lifting line theory
前端开发学习Docker记录02容器操作
第⑦个前端
08-29 452
使用docker ps 可以看到有哪些镜像在运行。
MySQL基础学习
eugene03的博客
08-29 1076
事务是一组操作的集合，它是一个不可分割的工作单位，事务会把所有操作作为一个整体一起向系统提交或者撤掉操作请求，那么这些操作要么同时成功，要么同时失败。笛卡尔积：两个集合 A集合和B集合的所有组合情况（在多表查询时，需要消除无效的笛卡尔积）对于union 查询，就是把多次查询的结果合并起来，行程一个新的查询结果集。相当于查询表1（左表）的所有数据包含表1和表2交集部分的数据。相当于查询表2（右表）的所有数据包含表1和表2交集部分的数据。自连接查询，可以是内连接查询，也可以是外连接查询。
【AI学习】在魔塔社区玩Ollama：部署GLM4和CodeGeeX4
bylander的博客
08-27 806
尝试了一下CodeGeeX4-ALL-9B 的Ollama部署。GPU要明显快很多，CPU的速度，也还凑合吧
html+css+js网页设计 个人博客模版 我的学习经历7个页面
qq_42431718的博客
08-28 430
html+css+js网页设计 个人博客模版 我的学习经历7个页面 网页作品代码简单，可使用任意HTML编辑软件（如：Dreamweaver、HBuilder、Vscode 、Sublime 、Webstorm、Text 、Notepad++ 等任意html编辑软件进行运行及修改编辑等操作）。
ArkTS基础快速入门学习
最新发布
weixin_49898946的博客
08-29 397
ArkTS语言在TS语言基础上扩展了声明式UI，组件化，状态管理等功能。官方推荐两种开发模式开发鸿蒙，一种是基于js扩展的类web范式，另一种是基于TS扩展的声明式UI范式（也就是使用ArkTS开发）。主要介绍harmonyos的页面布局和组件的基础使用
Golang学习笔记-Golang中的锁
qq_24428851的博客
08-25 1556
Go标准库的中的sync.Cond是一个条件变量，它可以让一系列的goroutine都在满足特定条件下时候被唤醒，每一个 sync.Cond 结构体在初始化时都需要传入一个互斥锁，我们可以通过下面的例子了解它的使用方法。因为请求的哈希在业务上一般表示相同的请求，所以上述代码使用它作为请求的键。这个是Go语言的扩展包中提供的另外一个信号量，它能够在一个服务中抑制对下游的多次重复请求，比如在redis的缓存雪崩中，能够限制对同一个 Key 的多次重复请求，减少对下游的瞬时流量。上述两个加起来，只占用8个字节。
快速学习“堆“排序（C语言数据结构）
m0_75235246的博客
08-26 795
堆的实现其实并不难，难的是要用堆实现排序，也就是堆的运用。下面需要探究一下堆的排序是怎样的。如何利用堆进行升序或者降序的排序。
先从路径优化开始学习FastPlanner之B样条曲线平滑路径（一）：从拉格朗日插值到B样条曲线
qq_51013517的博客
08-25 1166
B样条学习整理，易错点和关键点。我会列出学习他人的博客，但我不涉及具体推导，原理讲解，旨在于理解必须概念后写代码出效果和使用。
Python 爬虫爬取豆瓣电影列表信息，爬虫的原理，应用领域介绍学习
m0_50641264的博客
08-26 1947
Python 爬虫爬取豆瓣电影列表信息，爬虫的原理，应用领域介绍学习
Kali学习（ms17-010、ms08-067漏洞复现）
2401_82985722的博客
08-28 802
因为虚拟机有虚拟网卡，就像在windows系统里玩kali一样，他们的物理层公用一个设备-公用主机硬件，但在应用层上他们是相对独立的-互不干扰，可以同时使用。，通过一个公共的网关访问Internet，就像家里的路由器一样，多台设备连接上网，使用的是同一个外网IP。如果端口开放，就会进行完整的三次握手，成功建立链接，扫描结果中，STATE字段显示为 open。桥接就相当于，将创建的虚拟网卡，变成交换机，与主机的网卡连接，使kali可以上网。
你是如何克服编程学习中的挫折感的？
刘念卿的博客
08-24 1036
记得有一次，我在一个项目中遇到了一个顽固的Bug，连续几天都无法解决，感觉自己被困在了Bug的迷宫中。同时，在实践过程中，定期进行反思，思考哪些方法有效，哪些步骤可以改进，有助于不断提高编程水平，减少挫折感。例如，在解决一个难题之后，花点时间总结成功的经验和过程中学到的新知识，能够增强自信心并为未来的挑战做好准备。但后来，我决定从最基本的概念入手，逐步理解算法的每一个步骤，并尝试用自己的语言解释每个环节。每一次的挑战都是一次成长的机会，通过不断尝试和坚持，你将发现编程学习的乐趣，并在这个过程中不断进步。
trackgo 学习笔记
jacke121的专栏
08-28 148
trackgo 学习笔记
Datawhale x李宏毅苹果书入门 AI夏令营 task03学习笔记
weixin_75033552的博客
08-27 421
通过比较不同层数的model判断现在的model够不够大，如果高model比低model效果差，那么就是高model的optimization出现问题（56-layer的前20-layer和20-layer做一样的事，56层的后36层竟然没有帮助反而拖后腿。
线程同步学习
R_conqueror的博客
08-27 683
线程同步不是一起、相同，而是协调、协同的意思。1)按预定的先后次序进行运行，如:您说完，我再说;线程A生成数据后交给线程B处理;2)公共资源同一时刻只能被一个线程使用;共享数据在同一时刻只能被一个线程修改，以保证数据的完整性。线程安全的3大特性1、原子性原子性是指操作是不可分的。其表现在于对于共享变量的某些操作，应该是不可分的，必须连续完成。2、可见性可见性是指一个线程对共享变量的修改，另外一个线程能够立刻看到；基于互斥锁、条件变量、信号量、自旋锁、读写锁。
LLM+VLM代码示例
08-21
当然，我可以给你提供一些 VLM (Visual Light Communication) 和 LLM (Low Level Message) 的代码示例。以下是一个简单的VLM代码示例： ```python import time import RPi.GPIO as GPIO # 设置GPIO引脚 LED_PIN = 18 # 初始化GPIO GPIO.setmode(GPIO.BCM) GPIO.setup(LED_PIN, GPIO.OUT) def transmit_message(message): for char in message: # 将字符转换为二进制 binary = bin(ord(char))[2:].zfill(8) # 发送二进制信号 for bit in binary: if bit == '1': GPIO.output(LED_PIN, GPIO.HIGH) else: GPIO.output(LED_PIN, GPIO.LOW) # 控制发送速度（根据实际情况调整） time.sleep(0.1) # 两个字符之间的间隔时间（根据实际情况调整） time.sleep(0.5) # 发送消息 transmit_message("Hello, World!") # 清理GPIO资源 GPIO.cleanup() ``` 这个示例使用树莓派的GPIO引脚来模拟光通信，通过控制LED的亮灭来传输二进制信号。 以下是一个简单的LLM代码示例，这里假设你是在C语言环境下进行开发： ```c #include <stdio.h> #include <string.h> // 定义消息缓冲区大小 #define BUFFER_SIZE 100 void process_message(char* message) { // 在这里实现对消息的处理逻辑 printf("Received message: %s\n", message); } int main() { char buffer[BUFFER_SIZE]; // 模拟接收消息 printf("Enter a message: "); fgets(buffer, BUFFER_SIZE, stdin); // 去除换行符 buffer[strcspn(buffer, "\n")] = '\0'; // 处理消息 process_message(buffer); return 0; } ``` 这个示例是一个简单的命令行程序，通过用户输入来模拟接收消息，并在控制台上输出收到的消息。 希望这些示例能对你有所帮助！如果你有任何其他问题，可以继续问我。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值