3D Human Reconstruction Method 之 NeRF（简介）

NeRF介绍：

NeRF函数是将一个连续的场景表示为一个输入为5D向量的函数，输入是3D location x = (x, y, z) 和2D viewing direction (θ, φ),输出是 color c = (r, g, b) 和 volume density σ。这个神经网络可以写作：

                                                   

 在具体的实现中，  首先输入到MLP网络中，并输出  和中间特征，中间特征和  再输入到额外的全连接层中并预测颜色。因此，体素密度只和空间位置有关，而颜色则与空间位置以及观察的视角都有关系。基于view dependent 的颜色预测，能够得到不同视角下不同的光照效果，非常惊艳。

 引自：惊艳的NeRF算法，可用于视图合成的神经辐射场技术-技术圈

结合这篇博文和原文做出理解，从渲染方法的颜色计算的公式可以看出，空间位置x的颜色，与从相机发出且经过这个位置的射线，在到该位置之前的颜色累计和该位置应有的颜色有关。简单理解，就是遮挡关系，当这个位置在这条射线之前有其他位置的颜色信息，则说明这个位置的颜色应该被前面的颜色遮挡，积分就是在求前面所有的颜色对于该位置颜色的贡献；当贡献小时，T(t)应该偏向于1，反之则偏向于0，意味着这个视角下，该位置能被看到的程度。整个结果是多个射线在三维空间下所有位置x的颜色的集合c。

形象一点的描述，这个生成的结果像是一个无死角的全景照片，不同于生成一个实物模型，而是生成这个模型在所有可能角度的图像。

 

那我看到之后第一反应是这个东西怎么做动画。

1.因为相当于这个结果的顶点之间只有颜色上的关联，如果渲染的是一个人体，这个 人体的pose

  改变之后，需要重新输入input，重新过一遍网络，原先使用的网络的权重参数是否还有用，对于

  帧与帧之间的插值计算会不会很慢

2.如果对于很细致的物体，比图毛发，如果靠射线来采样的话精确度能有多高，射线的密度是怎样

  的，射线的密度肯定会关系到计算量，又回归到优化的问题

Animatable Neural Radiance Fields from Monocular RGB Videos

这篇文章中提到通过预先从图片中预估smpl参数（shape参数、pose参数），通过smpl蒙皮方程反推顶点坐标，将得到的坐标转换到NeRF的标准坐标系中，用与volume rendering。相当于对顶点坐标施加了smpl模型的约束，从而达到帧与帧之间pose变换的训练。

可以得到两个信息，

1.NeRF在pose变化大的情况不太适用，需要有其他的方法加速

2.NeRF可以做动画，但会面临动态画面导致渲染出现模糊，是一个值得研究的方向

NeRF的优点是可以直接渲染出头发和衣服，这是参数化模型所不能轻易做到的

 

 

从实验结果图示来看，预估得到的smpl的准确程度直接影响到最终结果，对于衣服的效果还不是太好。