6、NeRF in the Wild

简介

Wild-NeRF提出于2021年CVPR，原论文名称为《NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections》，Wild指的是室外场景。这篇文章对Nerf进行了另一种补充改进。考虑到Nerf建模对象是静态环境，每张图片描述的场景具备同样的几何内容，光照条件，因此它无法胜任在不同光照条件和场景内容有区别的场景建模。

简单来讲，就是用游客对同一个场景拍的各种图片建模，排除光照、时间、季节和各类移动物体对传统建模的影响（人家拍照肯定是不同时间地点，并且人家要露脸，这些是我们要排除的，我们只要变化不大的场景）

NeRF-W

在NeRF中，我们假设输入视角是连续的，即给定相同位置和视角方向的两张图片有相同的亮度，显然，这种假设在网络图片中并不符合，主要有以下两个原因

• 光度学的变化（photometric variation）
  在室外摄影中，一天中的时间和大气条件直接影响场景中物体的照明(以及因此产生的辐射)。由于自动曝光设置、白平衡和照片色调映射的变化可能导致额外的光度不一致，摄影成像管道加剧了这一问题。

• 瞬态物体（transient objects）
  现实世界的地标很少被孤立地捕捉，它们周围没有移动的物体或遮挡物。地标的旅游照片尤其具有挑战性，因为它们通常包含摆拍的人类主体和其他行人

Latent Appearance Modeling

为了使 NeRF 能够适应不同光照和摄影后处理，采用了 GLO 技术，即每张图片都赋给一个对应的实值外观嵌入向量 ℓi(a)（latent code也叫做appearance embedding），其长度为n(a)。用图像相关的辐射亮度 ci(t)，来原NeRF中的图像无关的辐射亮度 c(t)，同时引入近似的像素颜色 C^i 对图像索引 i 的依赖

这里要强调颜色c对每张图的依赖性。他认为原来的c和图片标号没有关系，但是在这里ci介入了一种像素对应图片的依赖性，因为每张图的appearance embedding都是不一样的

Transient Objects

在室外场景中拍摄经常会遇到动态物体这遮挡，在原始NeRF则是假设所有物体都是静止的。这里把原始NeRF中的MLP当作静态的MLP来预估地标建筑的颜色和密度，记作静态头（head），然后再加一个瞬态头（transient head），这个head出来的密度是允许在不同训练图片中不同的，因为这表示的就是障碍物（行人，招牌等等）。这个方法的好处是能够让网络在重建后面的静态场景时不会把遮挡物的伪影加到建筑上

和NeRF不同，这里并没有假设所有已预测的颜色都是可靠的，而是设定了一个不确定度场beta。他的作用是，能够让网络通过损失函数忽略那些离群点（也就是包含了遮挡物的点）

将每个像素的颜色建模为一个各向同性的正态分布，并且将最大化其可能性，再用体渲染的方式去渲染。这样可以使模型把静态和瞬态物体解耦，而且不需要显示表达

color里面加了一堆关于瞬态物体的计算，在不透明度T(t)中也加入了瞬态物体的密度

还有一个颜色的不确定度，假设观察到的像素强度具有固有的噪声(任意的)，进一步说，这种噪声是输入相关的(异方差的)。用一个各向同性的正态分布来建模颜色

方差是

**均值是 **

每个像素都有一个不确定度，是体渲染来的

那么对第i张图片的光线r和真实颜色的loss为


基本假设是越是瞬态物体越是不确定度大，beta在瞬态物体上会很大，第二项是为了防止beta到无穷大做的限制。第三项为L1正则化器，对(非负)瞬态密度σ(τ) i (t)用λu乘法器，这就阻碍了模型使用瞬态密度来解释静态现象

loss

效果

在测试的时候没有考虑瞬态物体的密度，所以训练出来之后就是只有地标建筑的样子

在场景中比较少看到的地方会导致模糊，瞬态物体遮挡过多的地方也会模糊（地面）