0. 笔者个人体会
三维重建最重要的一步就是三角网格生成,现有方法基本都是先建模点、体素、NeRF,再做后处理生成Mesh,这种网格往往存在过度光滑的问题,并存在凹凸不平的等表面伪影。
那有没有可能直接生成Mesh,同时用更少的Mesh表征更清晰的细节呢?这也就是最新开源的MeshGPT提出的思路,别人用GPT来写论文敲代码,他们用GPT直接生成三角网格!
下面一起来阅读一下这项工作,文末附论文和代码链接~
1. 效果展示
MeshGPT先训练一个Transformer从已学习的几何词汇中产生token(可以被解码成三角网格的面),然后进行自回归采样来创建三角形网格,产生的三角网格边缘非常清晰。
还可以直接生成一个房间内的所有