对李飞飞老师空间智能的思考！空间大模型SpatialBot来了！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba和具身智能】交流群

添加微信号：CVer111，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

空间大模型SpatialBot：作为对李飞飞老师空间智能 (Spatial Intelligence)的思考

上交，斯坦福，智源，北大，牛津，东大：

论文标题: SpatialBot: Precise Depth Understanding with Vision Language Models

论文: https://arxiv.org/abs/2406.13642

主页: github.com/BAAI-DCAI/SpatialBot

如何让大模型(MLLM, VLM)理解空间?    

作者认为, RGB+Depth可以作为大模型理解空间的途径，但是:

1. 现有模型无法直接理解深度图输入

2. 现有大模型数据集，大多仅用RGB就可以分析、回答。模型不会主动到深度图中索引知识。

因此，作者提出：

1. 三个层次的SpatialQA数据集。在low level引导模型理解深度图，在middle level让模型将depth与RGB对齐，在high level设计多个深度相关任务，标注了50k的数据，让模型在理解深度图的基础上，使用深度信息完成任务。

2. SpatialBench榜单。精心设计、人工和GPT标注的QA，测试模型深度理解能力

3. SpatialBot模型。模型在需要时，可以通过API获取准确的深度信息。SpatialBot基于3B到8B的多个base LLM，在SpatialBench、常用MLLM数据集(MME, MMBench等)和具身数据上取得显著提升。

SpatialBot 可以做什么？

1. 对点和物体的深度、远近关系的精确理解和运用

2. 对空间的理解：(a) 上下左右前后等位置关系, (b) 大小关系 (c) 物体间是否接触/到达 (d) 计数 (e) 具身场景理解

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba和具身智能交流群成立

扫描下方二维码，或者添加微信号：CVer111，即可添加CVer小助手微信，便可申请加入CVer-Mamba和具身智能微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、具身智能+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer111，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看