【2025具身智能大模型·系列11】SpatialLM：群核科技开源空间理解多模态，赋予机器超强空间认知，登顶HuggingFace

最新推荐文章于 2025-04-27 16:33:29 发布
最新推荐文章于 2025-04-27 16:33:29 发布
阅读量1.2k 收藏 65
点赞数 81
分类专栏： AI大模型前沿技术追踪 文章标签： 开源 人工智能 3d 科技 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaobing259/article/details/147549392
版权

系列篇章💥

No.文章
1【2025具身智能大模型·系列1】SpatialVLA：上海 AI Lab 联合上科大等推出的空间具身通用操作模型，赋能机器人3D空间理解
2【2025具身智能大模型·系列2】UniAct：清华大学、商汤等联合发布具身智能框架，用通用动作空间打破机器人控制瓶颈！
3【2025具身智能大模型·系列3】斯坦福HumanPlus：人形机器人实时控制与模仿学习的完美结合
4【2025具身智能大模型·系列4】GR00T N1 ：英伟达推出全球首个开源通用人形机器人基础模型
5【2025具身智能大模型·系列5】OmniH2O：卡内基梅隆与上海交大联手打造的全能人形机器人系统
6【2025具身智能大模型·系列6】OpenVLA：斯坦福开源的视觉语言动作大模型，引领机器人技术新突破
7【2025具身智能大模型·系列7】HugWBC：上海交通大学与上海AI Lab打造的通用人形机器人控制器
8【2025具身智能大模型·系列8】LightPlanner：中科视语开源的轻量化具身推理大模型，赋能机器人高效决策
9【2025具身智能大模型·系列9】RoboMamba：北京大学推出的高效机器人多模态大模型，助力机器人推理与操作
10【2025具身智能大模型·系列10】RDT-1B：清华发布双臂机器人模型，零样本泛化能力震撼业界
11【2025具身智能大模型·系列11】SpatialLM：群核科技开源空间理解多模态，赋予机器超强空间认知，登顶HuggingFace

目录

前言

在人工智能快速发展的当下，空间理解能力成为推动具身智能、虚拟现实等领域进步的关键因素。群核科技开源的SpatialLM空间理解多模态模型，为相关研究与应用带来了新的突破。今天，就让我们深入探究SpatialLM的奥秘。

一、项目概述

SpatialLM是群核科技开源的一款极具创新性的空间理解多模态模型，其目标是赋予机器人和智能系统类似人类的空间认知能力。它能对普通手机拍摄的视频进行深度分析，重建出细致入微的3D场景布局，精确标注房间结构、家具摆放、通道宽度等关键信息。
在这里插入图片描述

该模型基于大语言模型框架构建，巧妙融合点云重建和结构化表示技术，将视频中的场景转化为结构化的3D模型，为具身智能训练搭建起高效的基础框架，在多个领域有着广阔的应用前景。

二、核心功能

  1. 视频生成3D场景
    SpatialLM具备强大的视频解析能力，它逐帧分析普通手机拍摄的视频，通过复杂的算法重建出场景的三维结构，精准还原房间布局、家具位置以及通道宽度等信息，让2D视频“变身”为生动的3D场景。

  2. 空间认知与推理：
    突破传统大语言模型在物理世界几何与空间关系理解上的局限，SpatialLM赋予机器类人般的空间认知和解析能力。它不仅能理解场景中物体的语义，还能生成结构化3D场景布局，标注物体的三维坐标、尺寸参数和类别信息，实现对空间的深度理解。

  3. 低成本数据采集：
    数据采集是许多研究和应用面临的难题，SpatialLM很好地解决了这一问题。它无需复杂的传感器或智能穿戴设备，普通手机或相机拍摄的视频就能作为数据输入，极大降低了开发者的数据采集门槛，让更多企业和研究者能够轻松开展相关研究。

  4. 具身智能训练：
    在具身智能领域，SpatialLM提供了基础的空间理解训练框架。企业可针对特定场景对模型进行微调，助力机器人在复杂环境中实现导航、避障和任务执行。结合群核科技的SpatialVerse空间智能训练平台，机器人能在仿真环境中学习技能，形成从认知到行动的完整闭环。

  5. 虚拟场景生成：
    SpatialLM能够将现实世界的数据转化为虚拟环境中的丰富场景。借助其合成数据引擎，可泛化生成亿万级新场景，为虚拟现实、增强现实和游戏开发等领域提供强大的数据支持。

三、技术原理

  1. 视频输入与点云重建
    利用MASt3R-SLAM技术处理输入的RGB视频，将视频拆解为帧后，提取物体的细节空间点，计算其深度和位置，生成高密度的3D点云模型，为后续处理奠定基础。

  2. 点云编码与特征提取
    通过编码器将点云数据转化为紧凑的特征向量，在这一过程中保留场景中物体的关键几何和语义信息，方便后续模型进行处理和理解。

  3. 大语言模型生成场景代码
    借助大语言模型（LLM）的强大能力，将点云特征转化为结构化的场景代码，这些代码包含空间结构的坐标和尺寸，并标注了物体的语义边界框，例如“沙发 – 长1.8米 – 距墙0.5米”。

  4. 结构化3D布局生成
    将场景代码进一步转换为结构化的3D场景布局，明确标注出每个物体的三维坐标、尺寸参数和类别信息，最终可被可视化工具还原为可交互的3D场景。

  5. 物理规则嵌入
    为确保生成的3D场景符合物理规则，SpatialLM内置了“家具不能悬空”“通道宽度≥0.8米”等物理常识，提升场景的真实性和实用性。

四、应用场景

  1. 具身智能训练：助力机器人在虚拟环境中进行障碍规避、物体抓取等任务的训练，提升机器人在复杂环境中的适应能力和任务执行能力。

  2. 自动导航：在机器人导航任务中，SpatialLM实时解析环境中的空间信息，帮助机器人避开障碍物并规划最优路径，实现高效自主导航。

  3. AR/VR领域：能够快速将现实世界的场景转化为虚拟环境中的丰富场景，为增强现实和虚拟现实应用的开发提供有力支持，提升用户体验。

  4. 建筑设计与规划：分析建筑物的3D点云数据，识别墙体、门窗等结构信息，帮助建筑设计和规划人员更高效地进行设计工作，提高设计效率和质量。

  5. 教育与培训：教育工作者可利用SpatialLM开发教育软件，帮助学生学习3D建模和空间视觉能力。通过直观的3D场景生成和解析，让学生更好地理解空间关系和几何概念。

五、快速使用

1. 环境准备

在开始使用SpatialLM之前，需要确保你的环境满足以下要求：

  • Python 3.11
  • Pytorch 2.4.1
  • CUDA Version 12.4

按照以下步骤设置环境：

# 克隆仓库
git clone https://github.com/manycore-research/SpatialLM.git
cd SpatialLM

# 创建一个包含CUDA 12.4的conda环境
conda create -n spatiallm python=3.11
conda activate spatiallm
conda install -y nvidia/label/cuda-12.4.0::cuda-toolkit conda-forge::sparsehash

# 使用poetry安装依赖
pip install poetry && poetry config virtualenvs.create false --local
poetry install
poe install-torchsparse # 构建torchsparse的wheel文件需要一些时间

2. 下载示例点云数据

可以从Hugging Face下载一个示例点云数据，该数据是从RGB视频使用MASt3R-SLAM重建得到的。

huggingface-cli download manycore-research/SpatialLM-Testset pcd/scene0000_00.ply --repo-type dataset --local-dir .

3. 运行推理

在当前版本的SpatialLM中，输入的点云被认为是轴对齐的，其中z轴是向上的轴。运行以下命令进行推理：

python inference.py --point_cloud pcd/scene0000_00.ply --output scene0000_00.txt --model_path manycore-research/SpatialLM-Llama-1B

此命令将处理指定的点云文件，并将推理结果保存到scene0000_00.txt文件中。

4. 可视化结果

使用rerun工具可视化点云和预测的结构化3D布局输出：

# 将预测的布局转换为Rerun格式
python visualize.py --point_cloud pcd/scene0000_00.ply --layout scene0000_00.txt --save scene0000_00.rrd

# 可视化点云和预测的布局
rerun scene0000_00.rrd

通过以上步骤，你可以快速体验SpatialLM处理3D点云数据并生成结构化3D场景理解输出的能力。

六、总结

SpatialLM作为群核科技开源的空间理解多模态模型，凭借其强大的功能、创新的技术原理和广泛的应用场景，为人工智能在空间理解领域的发展注入了新的活力。无论是对具身智能感兴趣的研究者，还是从事虚拟现实、建筑设计等行业的从业者，都值得深入研究和应用SpatialLM，共同探索人工智能的无限可能。

项目地址：https://github.com/manycore-research/SpatialLM

在这里插入图片描述

🎯🔖更多专栏系列文章：AI大模型提示工程完全指南、AI大模型探索之路（零基础入门）、AI大模型预训练微调进阶、AI大模型开源精选实践、AI大模型RAG应用探索实践🔥🔥🔥 其他专栏可以查看博客主页📑

😎 作者介绍：资深程序老猿，从业10年+、互联网系统架构师，目前专注于AIGC的探索（CSDN博客之星|AIGC领域优质创作者）
📖专属社群：欢迎关注【小兵的AI视界】公众号或扫描下方👇二维码，回复‘入群’ 即刻上车，获取邀请链接。
💘领取三大专属福利：1️⃣免费赠送AI+编程📚500本，2️⃣AI技术教程副业资料1套，3️⃣DeepSeek资料教程1套🔥（限前500人）
如果文章内容对您有所触动，别忘了点赞、⭐关注，收藏！加入我们，一起携手同行AI的探索之旅，开启智能时代的大门！

多模态大模型：技术原理与实战 全球多模态大模型介绍
AI天才研究院
06-11 1909
关键词：多模态大模型、深度学习、计算机视觉、自然语言处理、跨模态学习、迁移学习、人工智能随着人工智能技术的飞速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。多模态大模型能够同时处理和理解多种类型的数据，如文本、图像、音频和视频等，这为AI系统在复杂场景下的应用提供了更加强大和灵活的能力。本文将深入探讨多模态大模型的技术原理，介绍其实战应用，并对全球主要的多模态大模型进行全面的介绍和比较。
一文读懂「MLLM，Multimodal Large Language Model」多模态大语言模型
女王の专属领地
01-09 6077
模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。MLLM通常以大语言模型(Large Language Model，LLM)为基础，融入其它非文本的模态信息，完成各种多模态任务。MLLM定义为“
多模态大模型是新一代人工智能技术范式
weixin_43178406的博客
05-02 5万+
 本文主要介绍了推开通用人工智能大门，多模态大模型是新一代人工智能技术范式，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 适合读者
VALSE 2024 计算机视觉与机器学习 | 文档解析与向量化技术加速多模态大模型训练与应用
dvlinker的技术专栏
05-14 3万+
文档解析与向量化技术加速多模态大模型训练与应用。
程序员面试、算法研究、机器学习、大模型/ChatGPT/AIGC、论文审稿、具身智能/人形机器人、RAG等16大系列集锦
热门推荐
结构之法 算法之道
01-05 76万+
程序员面试、算法研究、编程艺术、红黑树、机器学习5大经典原创系列集锦与总结 作者：July--结构之法算法之道blog之博主。 时间：2010年10月-2018年5月，一直在不断更新中.. 出处：http://blog.csdn.net/v_JULY_v。 说明：本博客中部分文章经过不断修改、优化，已集结出版成书《编程之法：面试和算法心得》。 前言 开博4年有余，...
SOTA多模态大模型！13个开源模型汇总，附论文和代码_开源多模态大模型
2401_85377976的博客
07-10 4277
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！论文PDF和开源代码都整理好了😝有需要的小伙伴，可以保存图片到。
中国模式识别与计算机视觉大会｜多模态模型及图像安全的探索及成果
编码世界
10-19 11万+
随着人工智能技术的不断演进，多模态大模型已是当下比较热的研究方向，它可以同时理解和生成多种输入和输出模态，如文本、图像、语音等，能够更好地模拟人类的多感知能力，给文档图像的分析处理带来了新的机遇和挑战！近期，中国模式识别与计算机视觉大会在厦门举办，是国内顶级的模式识别和计算机视觉领域学术盛会。大会汇聚了国内国外模式识别和计算机视觉理论与应用研究的广大科研工作者及工业界同行，分享我国模式识别与计算机视觉领域的最新理论和技术成果。
【机器学习】机器学习与大型预训练模型的前沿探索：跨模态理解与生成的新纪元
Easonmax的博客
05-22 4843
一、跨模态定义与意义跨模态是指处理来自不同感官通道或表现形式的信息的能力，例如文本、图像、音频、视频等。跨模态理解与生成技术的目的在于建立不同模态信息之间的桥梁，实现它们之间的转换和交互。这种技术的意义在于，它能够突破单一模态的局限性，充分利用多模态信息的互补性，提高信息处理的准确性和丰富性。二、多模态数据处理多模态数据处理是跨模态理解与生成技术的基础。在这一过程中，需要对来自不同模态的数据进行预处理、特征提取和表示学习等操作。例如，对于文本数据，可以通过分词、词嵌入等技术提取出关键信息；
13个开源多模态大模型汇总！
2401_84204207的博客
03-17 2851
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！NExT-GPT：任意对任意多模态 LLM。
2024自动驾驶(多模态)大模型综述：从DriveGPT4、DriveMLM到DriveVLM、DriveMM
结构之法 算法之道
08-12 1万+
​ 本文主要涉及以下4篇paper的解读(按发表的时间顺序排列) DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving DriveLM: Driving with Graph Visual
SpatialLM：手机视频秒建3D场景！开源空间认知模型颠覆机器人训练
士多啤梨先生の博客
03-23 1040
SpatialLM 是群核科技开源的空间理解多模态模型，能够通过普通手机拍摄的视频重建 3D 场景布局，赋予机器人类似人类的空间认知能力，适用于具身智能训练、自动导航、AR/VR 等领域。
科普大模型入门指南：定义、应用与训练方法
张彦峰的博客
09-06 4万+
本文探讨了大语言模型的基本概念、训练机制以及其在各个领域的广泛应用。大模型通过深度学习技术，能够理解和生成自然语言，改变了人机交互的方式。文章分析了大模型的训练过程，并讨论了其在智能助手、内容生成、数据分析等领域的潜力。与此同时，我们也关注了在模型使用中面临的伦理、安全和可解释性等挑战。展望未来，本文强调了有效控制和监管的重要性，以确保大模型的安全和负责任使用。
解析 Ferret-UI：多模态大模型在移动用户界面理解中的应用
人工智能讲师分享前沿技术
07-01 3150
移动应用的爆炸性增长，用户界面（UI）的设计越来越复杂，功能也越来越丰富。但现有的多模态大模型（MLLMs）在理解用户界面时存在局限，尤其是在处理具有特定分辨率和包含众多小型对象（如图标、文本）的移动 UI 屏幕时。这些模型通常难以准确识别和操作界面上的特定元素，也难以执行基于自然语言指令的复杂任务。苹果团队提出的Ferret-UI，正是为了解决这一问题而设计的。它是一款专门针对移动 UI 屏幕理解而优化的 MLLM，具备强大的引用、定位和推理能力。
Greenbone（绿骨）开源GVM容器docker部署和汉化介绍
最新发布
hhwzy_mqh的博客
04-27 626
本文主要是介绍从容器运行 Greenbone Community Edition 也就是一般我们说的GVM（以前叫Openvas)，使用和部署其开源社区版方式很多，可以从官方申请免费的虚拟机镜像，也可以参照Greenbone社区文档从源构建。笔者每种方式都尝试过，期间遇到过很多问题（不同linux系统，问题不一样，解决起来很麻烦），最简单直接的方式还是用容器部署。另外说明，写此文的目的只是为了方便懒得阅读英文，而又需要部署GVM漏洞扫描的同志。
.NET写的开源工业物联网网关(IoTGateway)
QzmAIoT
04-25 574
iotgateway: 基于.NET8的跨平台物联网网关（工业物联网关）。通过可视化配置，轻松的连接到你的任何设备和系统(如PLC、扫码枪、CNC、数据库、串口设备、上位机、OPC Server、OPC UA Server、Mqtt Server等)，从而与 Thingsboard、IoTSharp或您自己的物联网平台(MES、SCADA)进行双向数据通讯。提供简单的驱动开发接口；当然也可以进行边缘计算。
操作指南：vLLM 部署开源大语言模型（LLM）
jane_xing的博客
04-25 856
vLLM 是一个专为高效部署大语言模型（LLM）设计的开源推理框架，其核心优势在于显存优化、高吞吐量及云原生支持。安装 vLLM 或从源码安装最新功能： Docker 部署：使用官方镜像快速启动服务，适用于容器化环境： 依赖环境从 Hugging Face 加载模型 vLLM 支持直接加载 Hugging Face 托管的模型，例如： 若需加速国内下载，可设置镜像源： 本地模型路径 若模型已下载至本地，可直接指定路径启动： 三、服务启动与 API 调用 启动 OpenAI 兼容服务
应激的Llama，开源的困局
脑极体
04-24 800
而相比GPT-4o的多模态架构，Llama 4的改进更像是仰赖Scaling law的小修小补，疯狂堆叠参数，忽略了对底层架构的探索。发布第二天就有内部员工爆料，Llama4的基准测试存在严重造假，模型远远达不到开源sota标准，但为了赶在四月底前发布，领导将各个benchmark的测试集混合在post-training过程中，拿出了一个“看起来可以”的结果。更重要的是，前期AI大模型主要是打口碑效应，一旦落后，市场竞争力就会下降，而失去用户和合作伙伴的Llama在行业内部也逐步失去了辨识度。
开源交易所源码，交易所开发
2502_91163200的博客
04-24 765
这是一个专注于Web3相关开发的账号，具体会讲解步骤以及开发方案偶尔会有科普，有兴趣的可以点右上角关注一下开发一个开源的数字货币合约交易所是一个复杂但可行的项目，需要结合技术、安全、合规和社区运营等多方面考虑。
【最新版】西陆健身系统源码全开源+uniapp前端
weixin_65864514的博客
04-24 371
一款基于Uniapp+ThinkPHP开发健身系统，支持多城市、多门店，包含用户端、教练端、门店端、平台端四个身份。有团课、私教、训练营三种课程类型，支持在线排课。私教可以通过上课获得收益，在线申请提现。目前Uniapp支持编译微信小程序。提供全部无加密源代码，支持私有化部署。
评论 26
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寻道AI小兵

🐳 感谢你的巨浪支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值