VIT, LLM, VLM, VLA的区别

原创 于 2025-10-16 11:44:48 发布 · 215 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ai

部署运行你感兴趣的模型镜像
模型模型全称技术领域输入输出应用代表
VITVition Transformer计算机视觉图像图像类别、目标框等图像分类、图像分割、目标检测等VIT, Swin Transformer
LLMLarge Language Model自然语言处理文本文本智能客服、内容创作ChatGPT, LLaMA, Deekseek, Qwen
VLMVision Language Model多模态图像+文本文本图像描述、视觉问答、多模态检索CLIP, LLaVA
VLAVision Language Action Model具身智能图像+文本动作执行机器人、机器狗、自动驾驶agent

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

从VLM到VLA概论
xiaomu_347的博客
12-27 1344
智驾视觉大模型
【具身智能算法入门】VLM/VLA 算法入门指南
kakaZhui的博客
05-10 1578
人工智能的浪潮正从纯粹的语言理解和生成，涌向更广阔、更复杂的具身智能 (Embodied AI)领域。我们不再满足于让 AI 在数字世界中处理文本，而是期望它们能够感知物理世界、理解多模态信息、并基于此进行决策和行动。在这个激动人心的前沿，视觉语言模型 (Vision-Language Models, VLM)和视觉语言 Agent (Vision-Language Agents, VLA)扮演着核心角色。
梳理几个概念，弄懂具身智能发展主线：LLM、VLM、VLA，以及端到端模型，非常详细建议收藏！
libaiup的博客
08-04 1752
本文系统梳理了从LLM到具身智能的AGI发展路径。首先介绍了单模态LLM在文本处理上的优势，然后分析了多模态VLM如何融合视觉与语言理解能力。重点讨论了VLA模型通过增加"行动"模态，实现了AI与物理世界的交互能力。文章指出端到端训练是具身智能发展的关键方法，强调VLA模型集认知、感知和行动于一体，为AGI奠定基础。最后提供了AI大模型学习资源包的信息，包含从入门到进阶的全套学习资料。
Vision-Language-Action（VLA）技术全解析：从原理到落地
最新发布
m0_38097087的博客
10-09 1606
VLM ≠ VLA：三种典型范式与边界通用系统架构：感知-表征-决策-执行动作空间建模：离散/连续/扩散/混合训练范式：从大规模预训练到少样本迁移数据与标注：episode 格式、对齐与质量控制推理与部署：实时性、缓存、ROS/MoveIt/机械臂适配评测与安全：成功率、稳健性、越界与保护实战 Demo A：基于行为克隆的最小 VLA 训练与推理（PyTorch）实战 Demo B：用 LoRA/PEFT 快速微调开源 VLA（以 OpenVLA 为例）
具身智能端到端大模型VLA (Vision Language Action)
热门推荐
具身智能机器人
01-06 1万+
在语言为条件的机器人任务中，策略必须具备理解语言指令、视觉感知环境并生成适当动作的能力，这就需要VLA的。例如，在自动驾驶领域，传统的做法是将感知、预测、规划等步骤分开处理，而VLA则试图用一个统一的框架来替代这种分立的方法。另外，VLA的模型对于算力的需求很大，单片AI算力1000Tops的Thor大概率会延期发布，加上英伟达芯片的量产时间与成本挑战，以及在国内的应用情况，对车企而言是个大问题。以谷歌DeepMind推出的RT-2为例，该模型可以在新的物体、背景和环境中表现出显著改善的性能。
极客说｜从 ViT 到 VLM：视觉建模的演进与多模态交互
微软技术栈
06-16 1096
计算机视觉领域从传统的卷积神经网络（CNN）ResNet，到基于 Transformer 思想的 Vision Transformer（ViT），再到在跨模态语义对齐上大放异彩的 CLIP，直至如今具备复杂交互与生成能力的视觉语言模型（VLM），视觉建模正一步步向多模态、交互化、生成化的方向演进。（5）这种设计不仅赋予模型强大的视觉感知能力，同时结合文本生成模块，Florence-2 能够通过简单的 prompt（例如""表示目标检测）来执行复杂的视觉任务，涵盖图像描述、目标检测、对象分割等多种视觉场景。
VLA、LLM和VLM
qq_50857609的博客
01-08 6146
2023年7月28日，谷歌DeepMind发布了全球首个控制机器人的视觉语言动作（VLA）模型RT-2，这个模型是在视觉语言模型（VLM）的基础上发展而来的，它利用了机器人或汽车运动轨迹的数据，进一步训练这些现有的VLM，以输出可用于机器人或汽车控制的动作序列。指的是大型语言模型，这些模型在自然语言处理（NLP）领域取得了显著的进展，能够理解和生成自然语言文本。VLM是VLA模型的基础，它为VLA提供了视觉和语言的融合能力，使得模型能够理解视觉内容并将其与语言指令相结合，以执行复杂的任务。
从“看懂”到“行动”： VLM 与 VLA
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
06-19 3004
如果说 VLM 是让机器拥有了聪明的“眼睛和大脑”，那么 VLA 就是为这台机器装上了反应敏捷的“小脑和四肢”。VLA 的核心使命，是将 VLM 产生的丰富世界理解，转化为在物理世界中精准、合理、安全的。扩散模型**等先进的生成技术，将抽象的理解转化为具体的、概率性的、多模态的动作序列。VLA 的出现，首先是一场思想上的革命，即从“模块化”转向“端到端”。VLA 的终极形态，将是在内部构建一个可以模拟物理世界的“沙盒”，即。现在，一张完整的图片就变成了一系列“视觉词汇”组成的“句子”。
开源自动驾驶VLM/VLA！基于任意大模型的视觉推理
qq_50213874的博客
05-31 1421
视觉语言模型（VLMs）因其强大的推理能力，在自动驾驶领域受到日益广泛的关注。然而，现有VLMs通常采用针对特定场景设计的离散文本思维链（Chain-of-Thought, CoT），这种表征本质上是对视觉信息的高度抽象和符号化压缩，可能导致空间-时间关系模糊以及细粒度信息丢失。自动驾驶是否更适合通过真实世界模拟与想象建模，而非纯粹依赖符号逻辑？本文提出一种时空思维链（spatio-temporal CoT）推理方法，使模型可视化地思考。首先，VLM作为世界模型生成统一图像帧以预测未来世界状态：其中感知结果
VLA技术介绍
weixin_50518899的博客
07-14 8231
2023年7月28日，Google DeepMind发布Robotic Transformer 2(RT-2)，是一种新颖的模型，可以从网络和机器人数据中学习，并将这些知识转化为机器人控制的通用指令。视觉-语言-动作模型 (VLA)是一种多模态，一些模型专注于通过预训练来改进特定组件。其他模型则旨在开发善于预测低级动作的控制策略。某些 VLA 充当高级任务规划器，能够将长期任务分解为可执行的子任务。过去几年，大量 VLA 应运而生，体现了​​具身智能的快速发展。
端到端自动驾驶VLA模型：技术解析与模型设计
a8598671的博客
03-26 3104
目前大语言模型较为成熟，因此无论是VLM或者VLA模型都是以大语言模型为基础的。MLLMs 拥有两大优势：一是训练数据来自大规模互联网，拥有广泛的“世界知识”；二是具备强大的推理能力（如 CoT chain-of-thought），这是现有驾驶模型难以具备的。EMMA 基于多模态大语言模型构建，能够直接将原始摄像头传感器数据映射为多种驾驶相关输出，包括规划轨迹、感知目标以及道路图结构等。
学习端到端大模型，还不太明白VLM和VLA的区别。。。
CV_Autobot的博客
06-19 2154
2、VLA更侧重Action的能力，最终目的是为了做动作，在自动驾驶中可以理解为自车轨迹预测的能力，通时预测的轨迹又要尽可能的符合人类的理解，这又进一步依赖vision和language的基本能力，比如我要解释这个行为，可以使用思维链的形式一步步推理分析，这里面依赖自动驾驶基础的感知（行人在哪里，2D坐标，3D位置等等）VLM接扩散模型就可以预测轨迹，也就是Action，这块就涉及到多模轨迹的好处了，面对不确定的环境，单模的能力有限，多模的上限是更高的。业内最全的全栈学习路线图，独家业内招聘信息分享~
VLM与VLA的区别是什么？当前自动驾驶落地的情况怎么样？
CV_Autobot的博客
02-26 2301
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线去年理想对外展示快慢系统后，VLM在自驾的应用落地正式对外展露。今年智驾行业又在主推VLA，相比于端到端+VLM方式，VLA方案拥有更高的场景推理能力与泛化能力。不少智驾领导者都将VLA视为当下“端到端”方案的2.0版本，VLA也被看成是端到端+VLM的合体。VLM关注的重点在于环境建模，VLA除了考虑环境建模...
具身智能机器人实现新里程碑！新型3D世界模型问世
weixin_44887311的博客
04-05 1966
通过在大规模3D数据上预训练从RGB-D到RGB-D、从点云到点云的扩散模型，并学习语言-视觉-动作三者的联合分布，3D-VLA能根据输入的文本指令和环境表征，直接采样生成可感知的未来状态。具体而言，该模型以3D-LLM（3D大语言模型）为骨干，通过在其词表中引入一系列交互令牌，如场景、物体、动作等，增强了模型与3D环境互动的能力。通过预训练RGB-D到RGB-D、点云到点云的扩散模型，并用对齐器将其与语言编码器的输出对齐，3D-VLA能根据指令灵活地想象未来图像、深度图、点云等表征。
VLM/VLA模型训练与评估指南：13大开源数据集，轻松入门，记得收藏！
2401_85375151的博客
06-24 2122
本文系统梳理了自动驾驶领域视觉语言大模型（VLM）的技术框架和发展现状。典型VLM包含视觉编码器、驾驶适配器、文本编码器和LLM核心四大组件，而视觉语言驾驶模型（VLA）额外集成扩散式轨迹规划器。当前技术突破主要体现在：1）高质量数据构建，如小米通过310万驾驶数据训练Qwen2.5-VL模型；2）多阶段训练策略，包括监督微调和强化学习；3）专用评估体系发展，如DriveMLLM、AD2-Bench等基准测试。研究表明，融合场景描述、交通信号检测等6类QA问答能显著提升模型性能。
VLM和VLAM（VLA）相关介绍和发展历程
qq_30708051的博客
12-28 5804
相关介绍和发展历程的内容来自于通义大模型，还是让大模型总结整理比较方便。视觉语言模型（VLM）和视觉语言动作模型（VLA）是近年来在人工智能领域内取得显著进展的两个概念，它们的发展历程反映了多模态学习的进步，特别是在结合视觉、语言和机器人动作方面。
【多模态LLM】以ViT进行视觉表征的多模态模型1（BLIP、BLIP-2、InstructBLIP）
发现问题，并解决问题，批判性思维
07-01 3557
- CLIP和BLIP的区别： - CLIP：通过对比学习联合训练，预测图像和文本之间的匹配关系。即使用双塔结构，分别对图像和文本编码，然后通过计算cos进行图文匹配。 - BLIP：包括两个单模态编码器（图像编码器和文本编码器）、一个图像基础的文本编码器和一个图像基础的文本解码器。BLIP通过联合训练三个损失函数：图像-文本对比损失（ITC）、图像-文本匹配损失（ITM）和语言建模损失（LM），以实现多任务学习和迁移学习。 - 训练方式的区别：除了对比学习，BLIP还采用了一种高效率利用噪声网络数据
职场与思考 | 聊聊VLM/VLA和智驾新技术
CV_Autobot的博客
01-17 1339
作者|么么牛编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/17866772378点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『大模型』技术交流群本文只做学术分享，如有侵权，联系删文VLM和VLA的区别，有点想以像L2功能，LDW和LKA，FCW和AEB的区别，一个是只...
VLA模型（具身智能入门十）
weixin_39699362的博客
07-17 5452
Vision Language Action（VLA）模型VLA模型是机器人领域的“感知-理解-执行”一体化框架，通过Transformer架构融合视觉、语言、动作模态，核心目标是让机器人在自然语言驱动下，自主完成复杂操控任务。其定义的核心在于“跨模态统一”与“具象化行动”——不仅能“看懂”“听懂”，更能“做出正确的动作”，是实现通用机器人智能的关键方向。提供通用序列建模骨架，让视觉、语言、动作能以“序列”形式统一处理；ViT将视觉输入转换为序列特征，提供“看”的能力；LLMs。
Robotics+VLM 和 VLA区别是什么
04-01
### VLM 和 VLA 在机器人学中的区别 在机器人技术领域中，视觉语言模型 (Visual Language Model, VLM) 和视觉定位与映射 (Visual Localization and Mapping, VLA) 是两个不同的概念和技术方向。 #### 视觉语言模型...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值