GitHub已揽星1.9k的MeshAnything项目上新了V2版本,由来自南洋理工大学、清华大学、帝国理工学院、西湖大学等研究人员完成。
MeshAnything V2相比V1,使用了最新提出的Adjacent Mesh Tokenization(AMT)算法,将最大可生成面数从800提升到了1600。
只需30秒,AI就能像3D建模师一样,在各种指示下生成高质量人造Mesh。
NeRF、3D Gaussian Splatting生成的三维重建图像Mesh效果如下:
亮点直击
- 文章引入了一种相邻网格标记(AMT)网格标记方法,AMT 只需一半的标记序列长度来表示相同的网格,从而从根本上减少了网格生成的计算负担。
- MeshAnything 配备了 AMT,并推出了 MeshAnything V2。V2 将可生成的最大面数增加了一倍,同时实现了更高的准确性和效率。
- 大量实验表明,AMT 显著提高了网格生成的效率和性能。
相关链接
项目主页:https://buaacyw.github.io/meshanything-v2/
论文地址:https://buaacyw.github.io/meshanything-v2/MeshAnything_V2_Arxiv.pdf
论文阅读
摘要
我们推出了 MeshAnything V2,这是一种自回归转换器,可生成与给定形状对齐的艺术家创建的网格 (AM)。它可以与各种 3D 资产生产流程集成,以实现高质量、高度可控的 AM 生成。使用相同大小的模型,MeshAnything V2 在效率和性能方面都超越了以前的方法。
这些改进归功于我们新提出的网格标记化方法:相邻网格标记化 (AMT)。与之前用三个顶点表示每个面的方法不同,AMT 尽可能使用单个顶点。与之前的方法相比,AMT 平均需要大约一半的标记序列长度来表示相同的网格。此外,AMT 的标记序列更紧凑、结构更好,从根本上有利于网格生成。我们大量的实验表明,AMT 显著提高了网格生成的效率和性能。
方法
相邻网格标记化说明
与之前使用三个顶点表示一个面的方法不同,AMT 尽可能使用单个顶点。 当无法做到这一点时,AMT 会添加一个特殊标记 & 并重新启动。AMT 平均将 token 序列长度减少了一半。其紧凑且结构良好的序列表示增强了序列学习,从而显著提高了网格生成的效率和性能。
实验
结论
在这项工作中,我们提出了 MeshAnything V2,这是一种形状条件化的艺术家创建的网格 (AM) 生成模型,可生成与给定形状对齐的 AM。凭借我们新提出的相邻网格标记化 (AMT),V2 在性能和效率方面都明显优于 MeshAnything V1。与以前使用三个顶点表示面的方法不同,AMT 尽可能使用单个顶点。我们的实验表明,AMT 平均将标记序列长度减少了一半。来自 AMT 的紧凑且结构良好的标记序列大大增强了序列学习,从而显著提高了 AM 生成的效率和性能。
限制。 虽然与 V1 相比有很大改进,但 MeshAnything V2 的准确性仍然不足以满足工业应用。需要付出更多努力来提高模型的稳定性和准确性。