NeRF是一种新视角合成技术，通过全连接神经网络进行3D场景建模。它利用不同角度的图像，通过体渲染方法生成新视角的图像。NeRF流程包括场景表示、MLP网络结构、体渲染和位置编码等步骤，适用于3D重建、数据增强和AR/VR等领域。
一、新视角合成
NeRF是开创了一种全新的视角合成方法。新视角合成任务指的是给定源图像（Source Image）及对应的源姿态(Source Pose)以及目标姿态(Target Pose)，渲染生成目标姿态对应的图片(Target)。源姿态指的是从相机坐标转换为世界坐标的变换矩阵。 涉及2D和3D之间的坐标转换。
如上图所示，一共有三个坐标系：世界坐标系[X,Y,Z]、相机坐标系[Xc,Yc,Zc]T和图像坐标系[x,y]T。
（一）、相机坐标系与世界坐标系的转换
相机坐标系和三维世界坐标系之间的转换关系如下：
叫做相机的外参矩阵，包含旋转信息：
和平移信息：
，用于从世界坐标转换到相机坐标。对于NeRF来说会提供从相机坐标系转换到世界坐标系的前述矩阵的逆矩阵。
（二）、图像坐标与相机坐标系的转换
二维图像的坐标和相机坐标系中的坐标转换关系如下：
其中，矩阵
指的是相机的内参，包含焦距
以及图像中心点的坐标
最低0.47元/天 解锁文章
扫一扫
961
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
