nvdiffrec：Extracting Triangular 3D Models, Materials, and Lighting From Images

• 论文主页 https://nvlabs.github.io/nvdiffrec/
• git主页 https://github.com/NVlabs/nvdiffrec
• 新闻报道 https://redian.news/wxnews/36324
• YuQiao0303 读后感 https://blog.csdn.net/qq_34342853/article/details/125622816
• b站演示效果视频 https://www.bilibili.com/video/BV1Pd4y1q7h4/?from=seopage&vd_source=8c65e627887319909a0cd8f8582c7cfa
• CVPR2022 oral https://www.youtube.com/watch?v=whXTP08XMYA 16分30秒开始

Nvidia展示了合成的爵士乐演奏动画技术，名为NVIDIA 3D MoMa，其底层原理来自论文"Extracting Triangular 3D Models, Materials, and Lighting From Images"，模型名为nvdiffrec。

oral笔记

nvdiffrec要解决的问题是，输入是物体在各个角度的图片multiview，要求模型能输出它的三维重建，包括几何形状、纹理颜色、光照。

nvidiffrec也是GET3D的灵感来源。

该模型采用了端到端的训练。首先用geometry神经网络重建mesh，再用texture神经网络预测模型的纹理ÿ