论文笔记：Space-time Neural Irradiance Fields for Free-Viewpoint Video

论文标题：自由视角的时空神经辐射（发光）场

创新点

• 使用RGBD单目视频（2.5D）表示时空。
• 引入对场景深度的监督解决运动模糊问题。

（本文仅介绍对NeRF的改进部分）

深度重建损失

问题：

• 对于场景有运动的情况，换一个视角会导致几何失效，产生伪影。

解决方案：

文章提出了一个4D时空辐射场F, $F:(x,t)\to (c,\sigma )$. 并且输入的是一串RGB-D图像，$u(u,v)\to (c,d(深度))$。

• 对t时刻mlp输出的深度进行约束，为场景提供一个3D先验。
• 
• 
• 解决由于场景中物体自身运动所导致的混乱。

空损失

• 预测的深度本质上是沿着光线的深度值的加权和，并不能很好地表示场景深度
• 论文提出通过鼓励空空间（从相机到物体表面），惩罚从相机到物体表面地非零体密度
  其中，
  $d_t(u)$是估计地场景深度。

静态场损失

问题：

• 当视角改变后，场景中存在不受约束的边缘区域。

解决方案：

• 文章做了假设：没有被观察到的区域都是静止的，除非被观测到运动。
• 鼓励在不同地时间t，相同的位置x,有相同的颜色和体密度。用不同时间信息补充空间信息。
  

场景采样

1. 并所有帧、所有射线、所有采样点，形成集合
2. 排除距离表面较近的所有采样点
3. 每次采样随机抽取固定数量的点，并添加随机抖动

参考文献

[1] Xian W, Huang J B, Kopf J, et al. Space-time neural irradiance fields for free-viewpoint video[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 9421-9431.