A3VLM: Actionable Articulation-Aware Vision Language Model阅读记录

已于 2024-09-10 09:49:02 修改
阅读量756 收藏 13
点赞数 18
分类专栏： 具身智能 铰接物体 文章标签： 机器人
于 2024-09-09 15:26:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42679387/article/details/142056607
版权

文章目录

概述

an object-centric, Actionable, Articulation-Aware Vision Language Model(A3VLM)
A3VLM focuses on the articulation structure and action affordances of objects.(结合了两者 关节结构和可操作性)
robot-agnostic representation
learning an object-centeric representation then translated into low-level manipulation actions
the first VLM capable of accurately and consistently locating and understanding the articulation structure for robot manipulation.

Related work总结

Manipulation of Articulated Objects

1、A common practice for articulated object manipulation is to determine its articulation structure first and then manipulate it with predefined action primitives.估计结构–>使用primitive操作
2、FlowBot3D [10], predict the perpoint articulation movement of every point on the object’s 3D point cloud.预测点云

最低0.47元/天 解锁文章
好气呀
关注
专栏目录
A3VLM: Actionable Articulation-Aware Vision Language Model
s_m_c的博客
08-15 1031
边界框B的宽度、高度和长度是根据链路的最远点与中心之间的距离来计算的。：a representation that describes the object's articulation structure and action affordance simultaneously. 与之前的以机器人为中心的动作表示[3,21]相比，A3VLM的表示是以对象为中心的，这使得在不收集昂贵的机器人交互数据的情况下学习对象的可操作模型，并且各种机器人可以使用相同的学习对象模型。：了解铰接物体的关节和动作可供性。
OpenVLA: An Open-Source Vision-Language-Action Model
s_m_c的博客
08-15 975
在撰写本文时，完整的 OpenX 数据集由 70 多个单独的机器人数据集组成，具有超过 2M 机器人轨迹，这些轨迹被汇集成一个连贯且易于使用的数据格式，以巨大的社区努力。我们为 OpenVLA 模型测试了一个简单的微调方法：对所有模型参数进行完全微调，使用目标任务的 10-150 个演示的小型数据集。然而，VLA 对机器人技术的广泛采用具有挑战性，因为 1）现有的 VLA 在很大程度上是封闭的并且公众无法访问的，以及 2）机器人动作预测数据和互联网规模的视觉语言数据的联合训练是否大大提高了VLA的性能。
论文阅读：OpenVLA: An Open-Source Vision-Language-Action Mode
weixin_43180599的博客
09-12 865
看完后不想写了，浪费时间，就是把几个模块拼接起来，然后加载模块的预训练参数，调试一下看哪些层需要finetune；再加上为了训练以及推理搞了量化。。。
X-VLM: Multi-Grained Vision Language Pre-Training
连理o的博客
09-10 1493
字节提出的多模态模型 x-vlm
论文解读VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
qq_41932160的博客
03-04 1138
简介 vlm是一个task-agnostic multi- modal pre-training approach。无特定任务的多模态预训练方法。用于视频理解。主要贡献如下： In summary, the main contributions of this paper are as follows: (1) we propose to pre-train a task- agnostic encoder for video understanding; (2) we introduce masked m
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
afanti_1的博客
04-16 1205
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding VLM：用于视频理解的任务无关的视频语言模型预训练
X2-VLM: All-In-One Pre-trained Model For Vision-Language Tasks论文笔记
Nick Blog
09-11 626
v2tV)pmatch。
【论文阅读】GeoChat : Grounded Large Vision-Language Model for Remote Sensing
weixin_56603442的博客
02-18 1507
目前的大型视觉语言模型（VLMs）虽然能用于对给定的自然图像内容进行对话，但是这种通用领域的模型在遥感影像的场景中往往表现不佳，造成在遥感影像中特定查询时出现不准确或伪造的信息。为了解决这些问题，本文提出了第一个多功能遥感模型Geo Chat，将多模态指令调整扩展到遥感领域以训练多任务会话助手。
跨模态检索论文阅读：Multi-Grained Vision Language Pre-Training: Aligning Texts with VisualConcepts(X-VLM)
zag666的博客
05-16 644
提出进行多粒度的视觉语言预训练，以处理文本和视觉概念之间的对齐问题。 提出通过定位图像中的视觉概念来优化模型（X-VLM），并同时将文本与视觉概念对齐，其中的对齐是多粒度的。 通过经验验证，我们的方法在微调中有效地利用了学到的多粒度对齐。 具有256×256图像分辨率的X-VLMbase在许多下游的V+L任务上比现有的最先进的方法取得了实质性的改进。
Xmodel-VLM: A Simple Baseline for Multimodal Vision Language Model
c_cpp_csharp的专栏
05-22 42
我们介绍了Xmodel VLM，一种前沿的多模态视觉语言模型。它是为在消费级GPU服务器上高效部署而设计的。我们的工作直接面对一个关键的行业问题，即解决阻碍大规模多模态系统广泛采用的高昂服务成本。通过严格的训练，我们从头开始开发了一个1B级的语言模型，使用LLaVA范式进行模态对齐。结果，我们称之为Xmodel VLM，是一个轻量级但强大的多模态视觉语言模型。对众多经典的多模态基准测试的广泛测试表明，尽管Xmodel VLM的体积更小、执行更快，但其性能与大型模型相当。
【Vision-Language】VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts
Baigker的博客
12-16 2075
链接：https://arxiv.org/pdf/2111.02358.pdf 简介 首先我们做一些背景介绍，什么是vision-language？ 众所周知，目前人工智能涉及一个领域叫：多模态学习。简单而言，这个领域研究的重点在于如何将两种不同的东西联系起来，一起学习知识。比如： 不同媒介：图像和文字，视频和语音 不同语言：汉语和英语 因此 vision-language（VL）就是研究视觉与语言的联系，比如：给一张图片让计算机生成一段描述文字（图像描述生成，Image Caption）；给一张图片让
2022VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts
weixin_42653320的博客
08-13 1732
视觉-语言(VL)预训练从大规模的图像-文本对中学习通用的跨模态表示。以往的模型通常采用图像-文本匹配、图像-文本对比学习、掩码区域分类/特征回归、单词-区域/补丁对齐和掩码语言建模等方法来对视觉和语言信息进行聚合和对齐，然后，预训练好的模型可以直接对下游的视觉-语言任务进行微调，如VL检索和分类(视觉问答、视觉推理等)。两种主流体系结构在以前的工作中被广泛使用。CLIP和ALIGN采用双编码器架构，分别编码图像和文本，模态交互作用是由图像和文本特征向量的余弦相似度来处理的。...
Matlab 多机器人编队数据分析
最新发布
qq_45252077的博客
10-13 737
近期实验室购置了阿木实验室KKSwarm集群仿真平台，其整体开放环境为MATLAB，近期基于该平台做了一些集群编队的工作，期间遇到了一些小问题，记录下遇到的问题和解决方法。最终借助MATLAB强大的数据分析功能绘制出，预期的图形：因为才开始学习使用Matlab还用许多不清楚的地方，故记录下遇到的问题供以后温故知新！
【ROS】机器人系统仿真-URDF集成Rviz基本流程
qq_45868001的博客
10-09 728
【ROS】机器人系统仿真1.1-URDF集成Rviz基本流程
从MDM到RobotMDM——人体运动扩散模型：赋能机器人的训练
结构之法 算法之道
10-11 948
22年9月，来自TAU的研究者们通过此篇论文《》提出了运动扩散模型MDM，在该文中，作者通过在无分类器的方式下对CLIP进行条件化来实现文本到动作的转换，类似于文本到图像如下图所示「运动扩散模型（MDM）通过在给定文本提示的情况下生成多样化的动作，反映了文本到动作映射的多对多特性，其中，较深的颜色表示序列中的较晚帧，即最后生成的帧。
Telegram——Bot 机器人/小程序入门指南
cookcyq__的博客
10-10 1062
BotFather是所有 TG Bot 的“爸爸”，只能通过它提供的指令来创建与管理 Bot。Telegram 小程序其实就是挂载一个 H5 网站，通过 Bot 关联该网站，我们就可以叫它“小程序(TMA)”了。下面我将会详细介绍如何把一个 H5 网站挂载到到 Bot 中，完成小程序的接入。
基于STM32的智能运输机器人设计
2401_84204806的博客
10-12 1043
通过本项目，我们成功设计了一个基于 STM32 的智能运输机器人，实现了避障、路径跟踪、远程控制和状态显示等功能。本项目设计了一个基于STM32的智能运输机器人，能够自动识别路径、避开障碍物，并根据用户的指令将物品运输到指定地点。该机器人集成了超声波传感器、红外传感器、无线通信模块等，通过STM32对电机的控制，实现平稳、智能的运输功能。在生成的项目基础上，编写避障逻辑、路径跟踪、无线控制、电机控制以及状态显示的代码。问题讨论，stm32的资料领取可以私信！⬇帮大家整理了单片机的资料。
全金属的两足机器人钢铁侠开发
懒人日志
10-12 212
手机控制可以参考我的上一个博客，esp32驱动可以参看我的以前的有关esp32大模型的博客，这是手机控制机器人不同部位舵机，可以设置不同的角度，也可以手动输入角度，手动需要写入两个值，一个是舵机的编号，一个是舵机的角度，都需要使用16进制，借助我之前博客的ESP32大模型，他也可以人机对话，附带表情，当然接上其他传感器，他也可以获得人体感应，红外发射，环境温度湿度监测等。比较喜欢钢铁侠和终结者，其全金属的机身，反射着金属的光泽，透露出令人惊叹的美感。后来可能会使用积木控制，这是别人的积木。
SL-V系列安全光栅：创新技术，高效安全解决方案
"基恩士的安全光栅SL-V系列，包括SL-VH、SL-VL、SL-VHM和SL-VLM等型号，提供了PLe、Type4、Category4和SIL3等级的安全保护，达到最高的安全标准。这些产品设计紧凑，减少了复杂的电路设计需求，且SL-T11R安全继电器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值