视觉霸主SAM和文图霸主CLIP强强联合！苹果联合UIUC，发布统一视觉模型SAM-CLIP，或掀起多模态新浪潮

于 2023-11-01 16:43:39 发布
阅读量1.6k 收藏 11
点赞数 1
文章标签： 人工智能 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xixiaoyaoww/article/details/134164332
版权
本文介绍了SAM-CLIP，通过将专门的图像分割模型SAM与CLIP（语义理解模型）融合，实现了空间和语义理解的结合，提升了多模态基础模型的能力。实验显示，这种融合在图像分类和语义分割任务中表现出色，预示着多模态技术的新进展。
摘要由CSDN通过智能技术生成

作者 | ZenMoore

相信大家对 SAM[1] 并不陌生，它是 Meta 此前发布的 Segment Anything Model (分割一切模型)。一经发布便火遍全网震惊世界，史称“视觉领域的 ChatGPT 时刻”。

大模型研究测试传送门

GPT-4传送门（免墙，可直接测试，遇浏览器警告点高级/继续访问即可）：
http://hujiaoai.cn

正如 ChatGPT 出现后，很多 NLP 的任务都离不开 ChatGPT 等 LLM 的辅助；视觉也是一样，很多 CV 的新工作都离不开 SAM 的辅助。

但笔者一直好奇，什么时候这位视觉霸主，可以和语言霸主 ChatGPT 碰一碰来个联姻？或许这会是多模态大模型的又一个里程碑？

FYI: 目前多模态大模型的瓶颈很大程度上来自于视觉编码器组件。

所以，当笔者看到 SAM-CLIP 的时候，眼前一亮！这是 SAM 进军多模态基础模型的第一步，也是关键的一步！

来！我们看看 SAM-CLIP 做了什么...

论文标题：SAM-CLIP : Merging Vision Foundation Models Towards Semantic and Spatial Understanding

论文链接：https://arxiv.org/abs/2310.15308

SAM 为何要与 CLIP 联姻？

SAM[1] 顾名思义，是一个专门用来进行图像分割的模型，如下图 1 所示：

图1：SAM 模型结构以及功能展示。

▲图1：SAM 模型结构以及功能展示。

SAM 在海量的分割数据集上进行了训练，具有极强的图像理解和分割能力，但是，SAM 因为没有太多文本信息的加成，学到的更多是**空间理解能力 (spatial understanding)**，会看不会想。

而 CLIP[2] 就不一样了。如图 2 所示，它是一个和文本编码器对齐的模型。也就是说，它的视觉组件学到的更多是**语义理解能力 (semantic understanding)**，会想不会看。

图2：CLIP 模型结构和原理 (对比学习预训练)。

▲图2：CLIP 模型结构和原理 (对比学习预训练)。

因此，两个模型虽然都具备图像理解能力，但却着重于不同的方面：SAM 更偏视觉一些，强调局部性和空间能力；CLIP 更偏语言一些，强调整体性和语义能力。通过两个模型的融合，取长补短，打造一个兼具两类特性的视觉编码器，便是本文联姻两大模型的最大动机。

更进一步地，目前火出圈的多模态大模型如 GPT-4V 的开源平替 LLaVA, Mini-GPT4, BLIP-2 等，其原理都需要依赖一个和文本语义特征空间对齐的视觉编码器充当眼睛，一般用的都是 CLIP 及其衍生模型。这也是为什么 SAM-CLIP 很可能给多模态基础模型带来新的增长的原因。

SAM-CLIP “联姻”方法

总的来说，本文基于持续学习 (continual learning) 和知识蒸馏 (knowledge distillation) 两个方法合并两个模型。如图 3 所示。

图3：SAM-CLIP 方法原理。

▲图3：SAM-CLIP 方法原理。

由于 CLIP 模型的既定图像分辨率的限制，本文不采取“向 CLIP 合并 SAM”的做法，而采用了“向 SAM 合并 CLIP”。

先准备好经过训练的 SAM 和 CLIP 各组件：

  • SAM：图像编码器，提示编码器，轻量的分割掩码解码器 ()。

  • CLIP: 图像编码器，文本编码器。

以及 SAM 模型 和 CLIP 模型之前训练时候的数据的小子集(<10%)， 和 .

  • 使用 CC3M, CC12M, YFCC-15M, ImageNet-21k 中的图像构成 40.6M 无标签图像数据；

  • 使用 5.7% 的 SA-1B 数据。

这些数据作者称为 Merged-41M.

然后按照以下步骤执行：

  1. 本文的模型 的参数使用 SAM 的参数进行初始化。

  2. 使用 SAM 的掩码解码器初始化 SAM 头 ()参数。

  3. 随机初始化 CLIP 头 ()参数。

  4. 其他组件参数冻结不训练。

  5. Head Probing: 冻结 参数，只训练 . 使用余弦蒸馏损失在 上训练：.

  6. 多任务蒸馏：解冻所有头以及 进行训练。损失函数为：，其中，.

是 SAM 模型的几何提示 (geometric prompt)，, 指的是使用的和的线性组合

论文中还有更多关于分辨率提升训练的技巧，推荐阅读原文的 Implementation Details.

SAM-CLIP 效果如何

从上表可见，合并 SAM 和 CLIP 之后的性能下降不是很明显，极大程度上在不损害各自能力的前提下，融合了两者的优势。

从上表可见，SAM-CLIP 的语义分割能力非常强劲。

上面的实验表明：

  • SAM-CLIP 学到了更加丰富的图像表示；

  • SAM-CLIP 在图像分类任务上，取得了和 CLIP 不相上下的结果；

  • 同时使用两个头的话，SAM-CLIP 的语义分割能力得到了进一步增强。

小结

SAM-CLIP 的出现可能标志着多模态基础模型的又一个重要技术节点。通过将 SAM（具有强大的空间理解能力）与 CLIP（具有强大的语义理解能力）相结合，该模型成功地整合了两者的优势，创造出了一个兼具图像和文本理解的强大模型。基于持续学习和知识蒸馏的融合策略使得这一结合不仅实现了两者能力的整合，还确保了性能的最大化。实验结果也进一步证实了 SAM-CLIP 在图像分类、语义分割等任务上都表现出色。这为多模态研究开辟了新的可能性，展示了融合空间与语义理解能力在实际应用中的潜力。

参考资料

[1]SAM: https://segment-anything.com/
[2]CLIP: https://openai.com/research/clip

夕小瑶
关注
博客
最强小模型又易主！Mistral发布小部长Ministral 3B、8B，登基边缘计算之王！
10-17 266
研究团队发了下面忍者神龟的meme，说Mistral 7B发布才一年，但是就在今天，哪怕是最小的模型（小部长3B）就已经大多数基准上的性能已经超过了它：岁月不饶人啊，。。。不过，3B小部长的成功也揭示着，随着技术的进步，AI的"小而美"时代正在到来～
博客
OpenAI多智能体框架Swarm，被曝剽窃！20岁创始人指控OpenAI抄袭
10-14 459
业内人士指出Swarm框架的整体设计与其他开源多代理系统（Rasa 、Hugging Face Transformers）大致一样，没有自己创新的整体结构，其中部分代码的结构设计和实现方式与已开源的代码都有高度重合，框架从整体上看原创系不高。Swarms创始人Kye Gomez指控OpenAI不仅模仿起了名字，而且“借鉴”了代码和方法，从智能体结构的语法到群体类对象都是模仿的痕迹，但是OpenAI在官方博客中没有任何的引用。没错，你没有看错，名字非常的相似，OpenAI的是Swarm，这个是Swarms。
博客
马斯克又牛了！一双机械臂，夹住火箭！实现无限回收火箭
10-14 459
SpaceX称，对这个超重的助推火箭，已经实现了半厘米的控制精度——所以，助推火箭的回收尝试是时候提上日程了。所以，SpaceX设计了“筷子”机械臂系统Mechazilla，在火箭降落时，利用机械臂将其抓住，这样可以减少助推火箭落地时产生的压力。在接近发射塔时，火箭会启动3个发动机降速，并通过对火箭的控制，这个助推火箭虽然只高71米，但是它上面配备了多达33个猛禽发动机，能产生数千吨的推力，本身重量重的要命。昨天晚上，SpaceX的火星移民星舰，终于迎来了难得的第5次试飞，这次试飞最大胆的部分，就是。
博客
马斯克的Cybercab首秀！没有方向盘和踏板，26年量产，特斯拉这次又玩大的了
10-11 711
今年是特斯拉成立的第10周年，回顾10年前的2014年10月9日，搭载Mobileye EyeQ3的初代特斯拉Autopilot首次问世，开启了特斯拉时代。作为特斯拉成立10周年之际的发布会，虽然远远谈不上说失望，但是相较于之前马斯克给行业的惊喜，这次发布会公开的成果只能算是中规中矩吧～奶茶原本还以为能看到像变形金刚那样的车机器人呢！尽管如此，无人出租车的正式亮相还是相当振奋人心。让我想起了马斯克曾经提到的愿景：“让车辆在闲置时，通过共享为你赚钱。
博客
唯一答对“strawberry中有几个r”的开源项目，被我找到了！
10-10 1059
随着Open O1项目的进展，继续突破大语言模型的界限，不仅能实现类似OpenAI o1的CoT的性能，还能在测试时间扩展方面处于领先地位，使所有人都能使用先进的AI功能，最终，将Open O1变成人工智能进步的灯塔，造福所有人。该团队通过整理了OpenAI o1模型的CoT（思维链）数据，对Llama3.1-8b和Qwen2.5-7b模型进行训练，赋予了这两个小体量模型更强的长期推理和解决问题的能力。而且，只有7B和8B的参数，还是个小模型，基于LLama-8B和Qwen-7B进行的微调。
博客
哈佛大学俩学生开发出一种 AI 眼镜，看你一眼就能扒光所有个人信息
10-09 785
哈佛大学的两位学生开发的I-XRAY的项目，仿佛把科幻电影中的场景变成了现实！虽然这两位学生并未直接制造出风险，但他们的发明却无意中揭露了一个问题：在如今技术高度发达的时代，个人信息的获取变得异常便捷，同时也暴露了隐私保护的脆弱性。这样轻而易举就能创造出“一镜到底”的眼镜，那我们个人信息在互联网上暴露的程度到底是什么样啊。。。。。。
博客
活久见！2024年诺贝尔物理学奖颁给了AI大佬Hinton 和 Hopfield
10-08 512
在这样的时代背景下，Geoffrey Hinton 和 John Joseph Hopfield 获得诺贝尔奖的消息，不仅是对 Hinton 和 Hopfield 个人研究生涯的极大肯定，更是对整个人工智能领域研究价值的国际认可！从理论的深入到真实的日常应用的拓展、普及的过程，我们见证了科技发展的前所未有的崭新轨迹。霍普菲尔德提出的 Hopfield 网络引入了精确的二值神经元和能量函数的概念，描述了大脑中的神经元如何互动以形成记忆，是人类对大脑计算过程研究的开山之作！
博客
OpenAI 开发者大会！实时语音功能有API了，GPT-4o支持多模态微调，上下文cache功能上线
10-03 837
在车道计数的准确性上Grab实现了20%的提升，在限速标志的定位上提高了13%，这些成绩均超过了原始的GPT-4o模型。OpenAI还提出了一种用前沿、高级的模型的输出微调GPT-4o mini的模式，例如用o1-preview 和 GPT-4o 等高级模型的输出，微调GPT-4o mini这类的小模型，从而实现更高效模型的性能。在开发者大会上，OpenAI还宣布了要开放实时API的公测版，允许所有开发者在自己的应用程序中实现使用GPT的实时、低延时、多模态的功能。
博客
被Karpathy誉为“蕴藏着类似ChatGPT的机会的AI产品Notebook LM”，它到底做对了什么？
09-30 878
该平台重新定义了与LLM（大语言模型）的交互方式，用户现在可以轻松上传多种格式的资料，包括YouTube链接、音频文件、PDF文档、Google Docs、幻灯片以及网页等，并将这些内容直接集成到笔记本中。此外，用户还可以针对AI生成的内容提出问题，以获得更多详细信息。这种交互不仅要求对语言和意图有更深入的理解，包括对语境、情感和隐含意义的精准把握，还需要拓展到多模态交互，支持声音、图像乃至视频等多种输入和输出方式。，使用户能够直接聆听内容的总结，还可以将生成的播客分享给他人，增强信息的传播和交流。
博客
今天不止是A股疯，这家国产大模型也疯了！AI人：1亿小目标已实现
09-30 924
尤其是GLM-4-Plus的推理能力，实测非常强，你把它当做一个“入门版的o1”去用的话，不仅不会觉得拉胯，甚至会觉得。众所周知，o1在回答问题前的一顿思维链输出，对用户来说情绪价值是直接拉满了，像极了一个卖力干活的打工人。我测了下，果然这道题的难度非常大，我跑了下国内主流的ChatBot产品，发现大部分都翻车了。好家伙，就在别家把“入门款模型”朝着免费去卷的时候，智谱已经把自家的旗舰模型朝着免费开卷了。好家伙，这思维链也搞的太详细了，以至于思维链之后，好像没啥可讲的了。今天这篇文章不是讨论A股的。
博客
OpenAI员工流失的背后：地盘争夺、倦怠、薪酬要求
09-29 770
说实话，除了Jan Leike表现出了非常强大的怨念以外，其他人的离职长文都没有实质性可以扒出来的内幕，但是仔细咬文嚼字的话，倒是能发现一些盲点：很多人感觉在OpenAI工作很累，尤其是Greg Brockman和Bob McGrew，大家都想拥有一些自己的时间。但很明显，AI发展没有一条明确的主线，初期的参与者们也相对比较纯粹，多数OpenAI员工都把精力倾注在研发上，没有明确安全or进步的倾向，也没有宏大到拯救人类命运的理想和路线，Ilya如此果断的弹劾，反而给员工们传出了一个危险的信号。
博客
LLM 我们距离应用还差什么？
09-27 529
这固然有当前模型的基础能力尚没有那么强大的原因，但是我们要知道，任何一个破坏性创新的技术，其推出产品的时候，都不是那么完美的，都是靠着市场上真正的需求来完成自身的迭代，在市场上占据住自己的位置。实际上，理想态也应当是，大模型作为一切的中控，去决定每一步需要使用什么样的信息，辅助自己解决问题。的工作流程，其最直观的任务的确是数学题和逻辑推理，但真正的应用点显然不是这两个领域，甚至可以说，过于执着于这两个领域，可能会让模型能力走向一个非常奇怪的方向，甚至O1出现后，一些badcase，似乎也佐证了这一观点。
博客
o1的提示词：简单才是王道！
09-24 951
在早期o1模型上的实验验证，研究团队发现，在考验模型推理能力的最主要测试-数学中，o1已经开始显露大幅提升了效果！随着模型规模的增长，这种涌现的能力会自然出现，特别是当模型面对多样化的任务时。在过去，AGI的概念似乎是抽象的、遥不可及的，但是当亲眼见证大语言模型AI能够在过去人类做的好的事情上做的更好，研究团队们开始相信AGI是总有一天会到来的！研究团队谈到，当他们认识到自己想做一个具备推理能力的模型，首先想到的就是人类记录其思维推演的过程，所以，他们在这样的动机下，开始设计、训练模型。
博客
大模型的威力，远不只是聊天框
09-22 714
事实上，人和人交流的时候，应当是不会写那么“不是人话”的复杂指令的，或者那么一长串的prompt，因为人也听不懂，也记不住（短时记忆空间根本没法支撑那些信息量，肯定得反复澄清），更多的还是一步一步培训，让人形成习惯，为什么到了比人弱一些的大模型（确切说，大模型的确在文本的阅读能力和“短时记忆”能力上一定程度是超过人的，但是理解能力嘛……当然，前面笔者一直说聊天框是低效的，但它不是没有价值的，它是我们直接和大模型交互的媒介，就如同操作系统的终端，我们可以通过它直接让大模型去执行一些指令，去观察它的能力。
博客
读博对心理有持续负面影响？终于有论文证实了！确实是真的！
09-22 790
因此，研究团队收集了2006年至2017年间在瑞典入学的所有博士生，排除了无法进行时间长度的实验分析的未在瑞典接受大学教育的博士生，以及因其他愿意导致记录不完整的样例，最后符合实验样本要求的共计20,085名博士生。研究者们在图1展示了统计获得的描述性证据-博士生在开始博士学习前、后几年内获取精神病药物的比例，这份数据与同期未就读博的普通低学历人群（学士以下）和高学历人群（学士、硕士）的对照组进行了比较。博士生在入学的前几年内，使用精神病药物的比例与拥有相应硕士学位的对照组相似，低于普通人群的对照组。
博客
阿里发布史上最大规模开源全家桶！千问2.5系列发布
09-20 866
在预训练的层面，QwenMath和QwenCoder的训练思路很像，两个模型都采用了混合数据策略，将代码、数学和一般文本数据结合起来，以平衡模型在特定领域（如数学或编程）和通用语言理解方面的能力。此外，要知道，代码场景对context的长度要求是很高的，动辄丢个代码库进去，因此Qwen2.5-Coder 则通过 YARN 机制和 repo-level 预训练来增强了长文本处理能力。在通义APP的背后，就是这个模型。这个模型可以说是通义千问系列模型中旗舰模型，效果最好，当自然，最好的东西是最贵的。
博客
英伟达Jim Fan预测：未来2~3年机器人将迎来“GPT-3时刻”
09-20 769
所有移动的东西最终都将是自主的，对于机器人模型，我觉得我们还没有突破架构的极限。人类社会是围绕人类的化身、人类的外形因素构建的，我们所有的餐馆、工厂、医院以及所有设备和工具——它们都是为人类形态和人类双手设计的。GR00T 驱动的机器人，将能够理解自然语言，并通过观察人类行为来模仿动作，来快速学习人类身体的协调性、灵活性和其它技能，以适应现实世界并与之互动。另外，将快速、无意识的运动控制，与较慢、有意识的规划和推理过程，集成到同一个模型中，并让这个模型可以同时运动和推理，依然是机器人尚待突破的技术壁垒。
博客
AI美女屠版小红书火了，被当真人推流，颜值博主慌了
09-20 957
如果不出现文字元素，恐怕是很难发现的，为了追求美，本来大部分照片就是精心修过的，本身就没那么真，跟“追求真”的AI一比，反而显得真人不真，AI不假了。几个月之前，AI生图最大的弊端还是手，比如“四指、六指、手指畸形”，大家还可以抠细节，看看手指是否自然就能大致判断，但是现在已经不奏效了。这种情况的出现，可能还要归功于小红书的推荐逻辑，对美的、精修过的“真实”照片偏好，平台会给予很大的流量支持。而更可怕的是，如果你去小红书搜索“美女”，蹦出来的图片，你真的能分清哪些是真人，哪些是AI吗？
博客
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局
09-09 977
我想先把这个“学校”的课程做成本科水平的课程，所以如果你是技术专业的本科生，你应该会很感兴趣。我做这些主要是因为我们现在的教育观念或许有些过时——在学校里上课、然后完成学业、然后就走向社会工作。我觉得随着AI的发展，这个观念会逐渐被淘汰。现在技术变革非常迅速，人们很快就会想“我要回学校学新的技术”，并且频率会越来越高。但我想说，任何年龄都应该学习，活到老学到老。这也是我做Eureka Labs的目的，只是我还需要时间去完善它，可能到年底或者明年年初就能做好第一堂课。
博客
还没产品，靠人才就吸金10亿美元！Ilya新公司仅10人团队估值50亿
09-06 806
昨晚，Ilya Sutskever新成立的人工智能安全公司SSI（Safe Superintelligence Inc.），宣布获得10亿美元的融资。参与本次投资的公司有：Andreessen Horowitz（a16z）、Sequoia Capital、DST Global、SV Angel和NFDG，这几家都是全球顶尖的风险投资机构，在科技行业有非常大的影响力。对于一家成立仅2个月的公司获得10亿美元融资，这在科技行业是极其罕见的。果然是人才就是吸金。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值