VLM，LLM等大模型如何应用于机器人控制(以强化学习为例)

最新推荐文章于 2025-04-07 14:03:34 发布
最新推荐文章于 2025-04-07 14:03:34 发布
阅读量3.7k 收藏 25
点赞数 12
文章标签： 机器人
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48878618/article/details/135432475
版权
本文介绍了如何利用VLM进行图像理解，LLM生成任务指令，DQN执行动作并根据反馈调整策略，使得机器人具备自我学习和泛化能力，显著提升其技能应用效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

VLM：视觉语义模型，准确识别图中有什么，处于什么状态，以及不同物体之间的关联。

LLM：语言大模型，可以针对当前的环境，自动生成可执行的任务，或者将人类指令重新分成可执行的子任务。

以下图为例：将状态S传递给VLM模型 ，通过语义分析知道图中有什么物体，以及机器人在干什么。再将这个信息传递给LLM模型，由它决定，接下来做什么任务合适，再将相关信息全部传递给DQN(一种强化学习模型)，由该模型输出相应的动作A(如机械臂不同关节移动的角度，移动机器人的移动方位等)，执行相应动作后，会出现新的状态S'，再将这个状态传递给VLM，重新对当前状态进行语义分析，并通过LM模型和之前LLM模型给出的任务指示进行对比，得到语义之间相关性的高低，最终给出奖励R，再将奖励R传递给DQN，不断调整策略Π。

总结：从应用效果上看，相对于传统方法，大模型在机器人上的应用，让机器人具有了真正意义上自我技能的学习。比方说，‘抓’ 这个技能，传统放法抓一个物体就要重新训练一次，或者说一次训练多个物体，但并不能抓没有训练过的物体，该方法不止可以抓训练过的物体(数量比传统方法多的多)，对于没有训练过的物体也有很好的泛化性， 

大语言模型（LLM）与智能机器人的应用分析
weixin_46300916的博客
12-07 1024
在过去十年中，我们见证了机器人领域在应用语言模型 (LMs) 方面取得了显著进展。这一进步不仅包括人类般的交流能力，还包括机器人的理解和推理能力，从而显着提高了它们在各种任务中的有效性，从家务到工业操作 [52，105]。在工作初期阶段的成功源于统计模型分析和预测语言表达中的单词。这些模型使机器人能够解释人类命令[110，121]、理解上下文[3，5]、代表世界[50]并与人类互动[135]，尽管其理解深度有限。
llm模型简单理解，举例说明；vlm模型简单理解，举例说明VLM；模型的应用；
ZJQ的博客
05-15 659
llm模型简单理解，举例说明；vlm模型简单理解，举例说明VLM；模型的应用；
基于大模型的机器人控制
FL1717的博客
07-06 1410
基于大模型的机器人控制是指利用深度学习中的大型神经网络模型来实现对机器人的精确控制。这种方法结合了深度学习的强大表征学习能力和机器人控制的实际需求，旨在提高机器人的自主性、灵活性和智能性。
一文看懂！视觉语言模型VLM
最新发布
u012374012的专栏
04-07 1126
视觉语言模型（Visual-Language Models, VLMs）是一种融合视觉信息与语言信息的多模态人工智能模型。它旨在通过同时处理图像、视频等视觉数据以及文本、语音等语言数据，实现对复杂场景的深度理解和生成。这种模型的核心在于打破视觉与语言之间的模态壁垒，使机器能够像人类一样综合运用视觉和语言能力来完成各种任务。在人工智能的发展历程中，视觉和语言一直是两个相对独立的研究领域。计算机视觉专注于图像和视频的识别与理解，而自然语言处理则致力于文本和语音的处理与生成。
大模型在机器人控制领域的创新实践
DUT_LYH
03-14 679
大模型在机器人控制领域的创新实践正日益受到关注。本文将概述大模型在机器人控制领域的应用场景、技术挑战和解决方案，并详细介绍大模型在机器人控制中的核心组件、实现步骤、代码示例、技巧与实践、性能优化与测试、常见问题与解答，最后对大模型在机器人控制领域的未来发展进行展望。
LLM（大型语言模型） 和 VLM（视觉语言模型）
qq_50857609的博客
03-18 1604
首个版本为Gemini 1.0，包括三个不同体量的模型：用于处理“高度复杂任务”的Gemini Ultra、用于处理多个任务的Gemini Nano和用于处理“终端上设备的特定任务”的Gemini Pro。从2023年12月13日开始，开发者和企业客户可以通过Google的AI Studio和Google Cloud Vertex AI中的Gemini API访问Gemini Pro。：结合掩码语言建模（MLM）与图像-文本匹配（ITM）任务（如VisualBERT）7。
VLM视觉语言大模型在智能驾驶中的应用
yuanl15的博客
09-05 4140
即带条件的目标检测，用语言指示模型识别图像中特定目标。和Object Referring相比，Object Referring Tracking会根据自然语言描述在连续帧中对目标进行跟踪。开放式3D目标检测，利用VLM的zero-shot能力检测场景中在白名单之外的目标类型。交通场景视觉问答，这需要vlm的高维场景理解能力。自动驾驶领域的问答可以划分为感知、规划、空间推理、时序推理、因果逻辑推理。感知问题可以用来识别交通参与者，如外观描述、存在性、数量、状态等。
大模型框架：vLLM
m0_37559973的博客
05-24 1万+
​vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架。它利用了全新的注意力算法「PagedAttention」，提供易用、快速、便宜的LLM服务。
VLA、LLM和VLM
qq_50857609的博客
01-08 3610
2023年7月28日，谷歌DeepMind发布了全球首个控制机器人的视觉语言动作（VLA）模型RT-2，这个模型是在视觉语言模型（VLM）的基础上发展而来的，它利用了机器人或汽车运动轨迹的数据，进一步训练这些现有的VLM，以输出可用于机器人或汽车控制的动作序列。指的是大型语言模型，这些模型在自然语言处理（NLP）领域取得了显著的进展，能够理解和生成自然语言文本。VLM是VLA模型的基础，它为VLA提供了视觉和语言的融合能力，使得模型能够理解视觉内容并将其与语言指令相结合，以执行复杂的任务。
LMDeploy 量化部署 LLM&VLM 实践
2301_77641278的博客
04-16 2629
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。LMDeploy 由 MMDeploy和MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。
首个对LLMs应用于机器人任务中的量化研究
soaring_casia的专栏
06-13 1350
本文对embodied AI中的scaling laws进行元分析，主要聚焦在机器人领域的RFMs和LLMs方向。通过分析了近200篇论文，验证计算能力、模型大小和数据与性能之间的关系。
大模型---一文看懂视觉语言大模型VLM
智能汽车人的博客
03-19 1173
在之前的博客中，为读者朋友们详细介绍了LLM大语言模型的预训练，微调以及强化学习的详细过程。在上篇博客最后一段，笔者放了一张截图，ChatGPT的创始人卡帕西也说，未来的大模型会朝着多模态，多任务等方向发展。在多模态中，就涉及到音频，图片以及视频等。音频通过识别也会转成语言，本质上和大语言模型原理相同，因此本篇博客自然过渡到视觉语言模型VLM。不管在工作项目还是生活当中，笔者也常常接触大模型。作为大模型的使用者，其确实给生活和工作带来了不少变革，这两年学习大模型也成为了生活中的一部分。
Google DeepMind最新研究，将视觉语言大模型作为强化学习的全新奖励来源
TechBeat人工智能社区博客
02-07 1258
本文介绍了一种将现成的视觉语言模型（VLMs）作为强化学习奖励函数的框架，例如将多模态对齐CLIP模型的文本编码器和视觉编码器部署在强化学习模型中，而无需再特定领域的数据集上进行微调。通过对此类VLM在RL过程中的性能分析，作者发现，VLM模型生成的奖励质量会随着视觉编码器参数规模的增加而提高。这些结果表明，如果社区进一步发展出更大规模，更佳性能的视觉语言大模型，那我们训练更加通用的强化学习智能体的难度也会大大降低。
深度强化学习+大模型综述Survey on Large Language Model-Enhanced Reinforcement Learning
xcs166357的博客
06-03 3898
对 LLM 增强 RL 中现有文献进行了全面的回顾，并总结了其与传统 RL 方法相比的特征，旨在阐明未来研究的研究范围和方向。信息处理器、奖励设计者、决策者和生成器。LLM-enhanced RL是指利用预先训练的知识固有AI模型的多模态信息处理、生成、推理等能力来辅助RL范式的方法。利用具有一般知识的模型，这意味着与其他数据驱动模型相比，该模型在学习过程中具有相当大的能力水平和更好的泛化。此外，LLM 增强的 RL 仍然使用 AI 模型，并且可以通过 RL 交互数据持续学习以提高其能力。
主流VLM原理深入刨析（CLIP，BLIP，BLIP2，Flamingo，LLaVA，MiniCPT，InstructBLIP，mPLUG-owl）
ZhengrongYue的博客
12-28 1万+
MLM（CLIP，BLIP，BLIP2，LLaVA，MiniCPT，InstructBLIP，mPLUG-owl）
本地LLM & VLM性能评测
新缸中之脑
07-09 1889
作为一名数据工程师，我对测试一些生成式 AI 模型并在本地安装/运行模型很感兴趣。大型语言模型 (LLM) 和视觉语言模型 (VLM) 是最有趣的。OpenAI 提供了 ChatGPT 网站和移动应用程序。微软创建了 Windows 11 Copilot 供我们使用。但是，我们无法控制哪些数据被发送到互联网并存储在他们的数据库中。他们的系统不是开源的，就像神秘的黑匣子一样。
VLM（视觉语言模型）综述
热门推荐
qq_46981910的博客
08-30 1万+
对视觉语言多模态的模型进行介绍，涉及CLIP、GLIP、VLMo、Flamingo、BLIP等等。 VLMs的分类：根据VLM的输入处理和输出生成能力将其分为三个不同的组： 视觉语言理解模型：专门为视觉信息与语言的解释和理解而设计的模型 多模态输入文本生成模型：擅长利用多模态输入（如图像、视频和文本）来生成文本内容 多模态输入多模态输出模型：不仅接受多模态输入，还能产生多模态的输出
一文深度看懂视觉语言模型 (VLM)
m0_59163425的博客
01-21 5353
视觉语言模型是视觉和自然语言模型的融合。它将图像及其各自的文本描述作为输入，并学习将两种模式的知识关联起来。该模型的视觉部分从图像中捕获空间特征，而语言模型则对文本中的信息进行编码。两种模态的数据（包括检测到的物体、图像的空间布局和文本嵌入）相互映射。例如，如果图像包含一只鸟，模型将学习将其与文本描述中的类似关键字关联起来。这样，模型就会学会理解图像并将知识转化为自然语言（文本），反之亦然。
Bridging VLM and KMP: Enabling Fine-grained robotic manipulation via Semantic Keypoints Representation
03-22
### 连接视觉语言模型与运动规划以实现细粒度机器人操作 为了实现通过语义关键点表示连接视觉语言模型（VLM）与运动规划（KMP），从而完成细粒度的机器人操作，可以考虑以下几个方面： #### 1. 高维决策到Meta-action的一对一映射 利用Meta-action Encoder \( \phi \)，能够将大语言模型（LLM）输出的高维度决策转化为具体的元动作（meta-action）。这一过程依赖于可学习嵌入矩阵\( E_{\text{act}} \)，它实现了从抽象的语言描述到具体物理行为的有效转换[^1]。 #### 2. 自然指导与自我指导相结合的方法 借鉴《Semi-Instruct: Bridging Natural-Instruct and Self-Instruct for Code Large Language Models》中的方法论，可以通过半监督的方式构建训练数据集。这种方法不仅增强了模型对于复杂任务的理解能力，还提高了其泛化性能[^2]。 #### 3. 数据驱动的知识获取机制 基于《Knowing When to Ask -- Bridging Large Language Models and Data》，提出了一个框架来决定何时向外部数据库查询额外的信息。这种策略有助于减少错误率并提升系统的可靠性[^3]。 #### 技术实现路径 以下是可能的技术路线图以及其实现方式： - **语义解析模块**：采用预训练好的多模态模型作为基础架构，输入图像或视频片段提取场景内的对象及其属性特征； - **关键点检测网络**：设计专门用于捕捉目标物体上特定部位位置关系的关键点预测算法； - **交互逻辑生成器**：借助强化学习或者模仿学习技术教导机械臂按照指定顺序执行一系列子任务直至达成最终目的。 ```python def execute_fine_grained_manipulation(vlm_output, kmp_plan): """ Execute fine-grained robotic manipulation based on VLM output and KMP plan. Args: vlm_output (dict): Output from the visual language model containing semantic keypoints. kmp_plan (list): Sequence of kinematic motion planning steps. Returns: bool: True if successful; False otherwise. """ meta_actions = [] for step in kmp_plan: action_embedding = phi(step) # Convert high-dimensional decision into a meta-action via φ meta_action = decode_meta_action(action_embedding) meta_actions.append(meta_action) success = perform_robotic_operations(meta_actions, vlm_output['keypoints']) return success def decode_meta_action(embedding_vector): """Decode an embedding vector back into its corresponding physical operation.""" pass # Placeholder function def perform_robotic_operations(operations, keypoints): """Perform operations according to given sequence while considering detected keypoints.""" pass # Placeholder function ``` 上述伪代码展示了如何结合来自VLM的结果与由KMP制定的动作序列共同指引实际设备运作的过程。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值