21、LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding

最新推荐文章于 2025-11-14 19:42:02 发布
原创 最新推荐文章于 2025-11-14 19:42:02 发布 · 1.3k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #3d #人工智能

文章介绍了如何通过官网的算法，将LiDAR数据转化为语言建模问题，利用LLMs的强大推理能力进行3D场景理解，包括3D标注、3D问答等任务。文章详细阐述了实现流程，包括特征提取、VAT设计以及通过多阶段训练增强模型的高级指令处理能力。

简介

官网
在这里插入图片描述
 将原始LiDAR数据作为输入，利用LLMs卓越的推理能力，来获得对室外3D场景的全面了解，将3D户外场景认知重构为语言建模问题，如3D captioning, 3D grounding, 3D question answering。

实现流程

在这里插入图片描述
 给定LiDAR输入 L ∈ R n × 3 L \in \R^{n \times 3} L∈Rn×3，n 是点的数量，使用 VoxelNet 获取 LiDAR Feature，考虑到计算成本，沿着 z轴展平特征以生成鸟瞰图(BEV) Feature F v ∈ R c × h × w F_v \in \R^{c \times h \times w} F

最低0.47元/天 解锁文章
Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs
c_cpp_csharp的专栏
09-15 1336
图学习由于其在现实世界中的广泛应用而引起了极大的关注。在具有文本节点属性的图上学习最流行的管道主要依赖于图神经网络（GNN），并利用浅文本嵌入作为初始节点表示，这在一般知识和深刻的语义理解方面具有局限性。近年来，大型语言模型（LLM）已被证明具有广泛的公共知识和强大的语义理解能力，这彻底改变了现有的处理文本数据的工作流程。在本文中，我们旨在探索LLM在图机器学习中的潜力，特别是在节点分类任务中，并研究两种可能的管道：LLM作为增强器和LLM作为预测器。
EXPLORING THE POTENTIAL OF LARGE LANGUAGE MODELS IN GRAPH GENERATION
c_cpp_csharp的专栏
07-09 268
大型语言模型（LLM）在许多领域都取得了巨大的成功，最近的工作研究了将LLM用于图判别任务（如节点分类）。然而，LLM生成图的能力在文献中仍未得到探索。图生成需要LLM生成具有给定属性的图，这在现实世界中具有宝贵的应用，如药物发现，但往往更具挑战性。在本文中，我们提出了LLM4GraphGen，通过系统的任务设计和广泛的实验来探索LLM生成图的能力。
[arxiv论文阅读] LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding
价值知识传播者
01-06 1396
为一个语言建模问题，涵盖了3D字幕生成、3D定位、3D问答等任务。具体而言，由于缺乏3D LiDAR-文本配对数据，我们引入了一个三阶段的训练策略，并生成相关数据集，逐步将3D模态与LLMs的语言嵌入空间对齐。LiDAR-LLM在3D字幕生成任务上取得了40.9的BLEU-1，而在3D定位任务上实现了63.1%的分类准确率和14.3%的BEV mIoU。我们提出的LiDAR-LLM以3D LiDAR数据为输入，并将3D模态与语言嵌入空间对齐，充分利用LLM的卓越推理能力来理解户外3D场景。
【大图模型】图智能 + 大模型
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
09-28 948
蚂蚁「大图模型」研究，为图智能迈向AGI铺了一条新通途
资讯 | 2024 Best AI Paper | 大型语言模型 (LLM) 时代的图机器学习
m0_59235699的博客
11-08 1161
本博客的目的是了解图和 LLM 协同工作的现状和局限性。我将首先关注大型语言模型 (LLM) 时代的图机器学习。本文的目的是详细介绍图机器学习 (Graph ML) 的历史以及使用 Graph ML 和 LLM 的当前状态查找 Graph ML 与 LLM 结合使用的主要类别及其优点和局限性以及可能的解决方案。现在，我们如何开始处理图？我们确实希望获得某种图的矢量表示，以便进行机器学习。但是，我们如何处理潜在的指数级节点和边数？
视觉大语言模型~
whaosoft143ai的博客
11-16 1046
这是视觉大语言模型在自动驾驶和智能交通中的最新应用一点思考当前VLM, LLM十分的热门, 尤其是在自动驾驶领域, 自动驾驶的输入本身就是多模态的, 这里面最重要的就是图像和语言信息, 所以如何将图像和文本信息综合利用, 以及如何充分利用LLM是当前急需要探索的, 目前其实已有部分工作是关于VLM及LLM在自动驾驶中应用的, 比如为了利用文本信息，为了出可解释性, 但是其实VLM与LLM在自动驾驶中的应用远不止这些, 可以结合的地方有很多, 比如感知, 决策，规划, 可以分别从这些方向入手探讨结合的方向。另
自动驾驶论文速递 | GS-Occ3D、BEV-LLM、协同感知、强化学习等~
CV_Autobot的博客
07-30 219
清华大学（AIR研究院）、香港大学、百度联合团队ICCV'25中稿的工作，本文提出端到端协同感知框架CoopTrack，通过可学习实例关联与解码后融合技术，在V2X-Seq数据集实现39.0% mAP与32.8% AMOTA的SOTA性能，传输成本降低至V2X-ViT的2.2%。首次采用纯视觉方法重建整个 Waymo 数据集，验证了其生成的标签在 Occ3D-Waymo 下游模型训练中的有效性，并在 Occ3D-nuScenes 上展现出更优的零样本泛化能力，凸显了大规模自动驾驶场景应用的可扩展性。
【AI视野·今日CV 计算机视觉论文速览 第272期】Fri, 20 Oct 2023
TomRen
10-24 1166
AI视野·今日CS.CV 计算机视觉论文速览 Fri, 20 Oct 2023 Totally 62 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Putting the Object Back into Video Object Segmentation Authors Ho Kei Cheng, Seoung Wug Oh, Brian Price, Joon Young Lee, Alexander Schwing我们提出了 Cu
CVPR 2024 图像生成方向总汇（视频合成/生成、纹理生成/合成、二维码生成、文本-矢量、手写数学表达式和文本-3D等）
qq_36812406的博客
01-21 1244
纹理生成/合成、二维码生成、文本-矢量、手写数学表达式和文本-3D等
2024年6月26日Arxiv人工智能相关论文
数智笔记
06-26 2241
在这项工作中，我们使用了几种ATP和AI方法，证明了3000多个先前未经ATP证明的Mizar/MPTP问题，将ATP解决的Mizar问题数量从75%提高到80%以上。首先，我们开始尝试使用cvc5 SMT求解器，该求解器使用了几种基于实例化的启发式方法，与之前应用于Mizar的基于超位置的系统有所不同，并增加了许多新的解决方案。然后，我们使用自动化策略发明来开发cvc5策略，大大提高了cvc5在难题上的性能。特别是，最佳的发明策略解决了比先前可用的最佳cvc5策略多14%的问题。
【SolidWorks2025】3D CAD 软件：机械设计安装 + 补丁教程
2503_93821636的博客
11-10 326
SolidWorks2025 是法国达索系统开发的专业 3D CAD 工具，专注机械设计、工程仿真与产品开发，通过直观界面与强大功能，帮助用户实现从创意到数字化模型的转化，覆盖概念设计到生产制造的完整流程。
File Naming in Vic-3D VIC-3D中的文件命名
ACQTEC研索仪器的博客
11-11 713
当使用 Vic-Snap 以外的采集软件时，用户必须遵循 Vic-3D 所需的命名约定。文件名和文件路径中不应包含任何下划线。
【3DV 进阶-7】Hunyuan3D2.1-ShapeVAE 整体流程
weixin_44212848的博客
11-12 276
【代码】【3DV 进阶-7】Hunyuan3D2.1-ShapeVAE 整体流程。
3D装配动画结合MES系统，助力制造业无纸化办公
大腾智能的博客
11-13 305
随着制造业向多品种、小批量生产转型，传统纸质作业指导书因更新滞后、信息有限等缺陷难以满足需求。通过3D动画和MES系统集成，企业可实现装配过程可视化、操作精准化和无纸化管理，特别适配工艺复杂、产品迭代快的生产场景。
MIT融合新旧视觉技术，破解救援机器人导航瓶颈，无需标定，数秒生成3D场景
weixin_44887311的博客
11-13 266
麻省理工学院研究人员开发了一套新型三维重建系统，能在数秒内完成复杂环境的高精度3D地图构建。该系统结合AI视觉模型与传统计算机视觉技术，通过分批生成"子地图"并智能拼接的方式，突破了现有AI模型处理速度的限制。实验显示，该系统平均重建误差小于5厘米，无需专业设备即可实现近实时建模，大幅提升了救援机器人的环境感知效率。这项技术不仅适用于灾害救援，还可拓展至VR/AR、仓储机器人等领域，展现了传统几何知识与现代AI结合的强大潜力。
第36节：AI集成与3D场景中的智能NPC
最新发布
我是 二川兄，对Web开发、GIS开发、3D模型、机器学习、面试技巧等方面都有一些涉猎~ 欢迎您加入技术交流圈！你可以在我的文章末尾找到我~
11-14 564
AI集成与3D场景中的智能NPC
AE扩展-Camera3D Toolkit Pro v2.2 三维空间摄像机平滑运动工具
weixin_69464118的博客
11-12 444
它可一键生成对焦、景深、震动、平移、旋转等复杂镜头效果，自动处理关键帧和图层分布，大幅提升 3D 动画制作效率，帮助你快速打造电影级的动态镜头与场景。一键生成平移（Pan）、倾斜（Tilt）、滚动（Roll）等摄像机动画，无需手动设置关键帧。包含多种震动效果：地震、手持、风、车辆、爆炸、无人机、地铁、心跳、故障等。自动将摄像机移动到选中的图层，适用于幻灯片、转场等镜头切换效果。在 X／Y／Z 轴上随机旋转图层，营造自然、有机的动态效果。根据图层与摄像机的距离自动调整透明度，轻松实现景深效果。
Unity Shader Graph 3D 实例 - 一个简单的3D打印效果
Giver的博客
11-14 583
本文介绍了使用Unity ShaderGraph创建3D打印效果的实现方法。首先创建透明渲染类型的ShaderGraph文件，通过拆解模型Y轴坐标结合时间节点实现循环打印动画。利用Step节点建立打印遮罩效果，通过Remap调整数值范围，并添加PrintHeight变量控制边条宽度。HDR颜色变量增强边带的科技感，最后将效果叠加到原模型贴图。文中详细展示了从节点搭建到参数调节的全过程，包括打印速度、颜色和边条宽度的自定义控制，最终实现了多种颜色的3D打印视觉效果。
MES系统+3D一览通应用，研发制造无缝对接，实现车间生产数字化
渲吧云渲染
11-10 214
MES+3D一览通数字化解决方案可有效减少识图误差，提高生产效率，是推动企业数字化转型的重要举措。
MATLAB-LiDAR-Guide: 深入激光雷达开发与应用
物联网注册代码MATLAB-LiDAR-Guide: LiDAR-Guide是关于物联网和激光雷达技术的指导性文档，特别适合于使用MATLAB进行激光雷达相关开发的读者。文档旨在提供关于激光雷达学习资源、工具和框架的知识，以帮助开发者更...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值