大模型理解与生成三维点云：CVPR《GPT4Point: A Unified Framework for Point-Language Understanding and Generation》介绍

大模型理解与生成三维点云：CVPR2024论文《GPT4Point: A Unified Framework for Point-Language Understanding and Generation》

本文是关于CVPR2024最新论文《GPT4Point: A Unified Framework for Point-Language Understanding and Generation》的简要介绍。GPT4Point是让大模型理解与生成三维模型点云的经典作品，作者提出了 Pyramid-XL点云-语言标注引擎，以及数据规模超过1M的物体文本数据集，并且使用多种评价指标评测GPT4Point的点云理解和生成性能。

本文写于2024年4月15日。

有关本专栏的更多内容，请参考大语言模型文献调研专栏目录

1. 论文基本信息

1.1 资源

题目：GPT4Point: A Unified Framework for Point-Language Understanding and Generation

链接：https://arxiv.org/pdf/2312.02980.pdf

代码：https://github.com/Pointcept/GPT4Point

项目：https://gpt4point.github.io/

文章引用：

@inproceedings{GPT4Point,
  title={GPT4Point: A Unified Framework for Point-Language Understanding and Generation},
  author={Zhangyang Qi and Ye Fang and Zeyi Sun and Xiaoyang Wu and Tong Wu and Jiaqi Wang and Dahua Lin and Hengshuang Zhao},
  booktitle={CVPR},
  year={2024},
}

1.2 动机

最近大语言模型（LLMs）在自然语言处理领域取得显著进展，后续研究者积极探索将大语言模型与其他模态进行结合，例如图像、音频、视频等。此外，视觉-语言模型（VLMs）通过图像-文本对进行大规模预训练，实现了文本图像的编码对应。基于大模型的多模态的生成任务也日新月异。然而，当来到三维世界，上述方法难免力不从心。

最近的一些工作将2D特征看做3D特征，造成几何精度损失，一些研究注重整体场景理解，主要关注对象的空间坐标而忽略了细节理解，其他工作例如PointBind等缺乏整体全面训练，PointLLM需要对语言模型组件进行训练，但缺乏文本生成能力。为此，作者提出了GPT4Point，用于点云-语言理解和生成。其要点为：

• GPT4Point是一种3D多模态大语言模型。GPT4Point引入了3D对象MLLM，完全利用点云执行各种点-文本任务。
• 点云文本对齐。利用基于Bert的Point-QFormer进行点-文本特征对齐，对齐的特征分别输入LLMs进行文本推理任务和Diffusion进行3D对象生成任务。
• 点云质量改善。输入低质量的点云特征作为条件，GPT4Point可以利用点云-文本对齐特征生成更高质量的结果，同时保持几何形状和颜色。

针对3D数据难以获取的问题，作者开发了一个数据注释引擎PyramidXL，其要点为：

• 基于Objaverse-XL数据集
• 解决了VLMs无法直接理解多视角图像的问题。
• 通过综合由VLMs获取的多视图的标题，文本注释从低到高被分层为三个层次，得到精确的注释。