本文介绍了如何利用Blender和NVIDIA的Instant Nerf技术合成多视角图像。通过在Blender中模拟不同视角的拍摄，可以生成用于神经辐射场训练的数据集，减少了实际拍摄的复杂性。实验结果显示，尽管重构的物体可能略显粗糙，但基本保持了正确的尺度和轮廓。此外，文章提供了相关项目链接和Blender工程，供读者进一步探索。
一.英伟达Instant Nerf简介
英伟达利用哈希编码将原版Nerf(neural radiance fields)神经辐射场长达数天的训练时间缩短到秒级，而且前向渲染达到了实时的程度，属于目前利用神经辐射场进行新视角合成相关研究中的STOA。因此笔者在Ubuntu中对其进行了复现测试。关于Instant Nerf的环境配置参阅官方Github介绍：https://github.com/NVlabs/instant-ngp，有非常详细的安装运行步骤。
配置完Instant Nerf后，利用官方数据（乐高）进行测试，下面的图片展示了原始数据集+相机旋转平移矩阵的样例。
|
|
|
乐高数据集的特性介绍如下：
1.每个视角图片中提前做了前景目标分割处理，只保留了乐高所在前景区域，其他为透明色；
2.Instant Nerf中使用的transform_matrix 是相机坐标系 to 世界坐标系 的旋转平移矩阵，与传统相机标定用的外参矩阵相反，二者互为逆矩阵&#
最低0.47元/天 解锁文章
扫一扫
719
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
