图像形成（2） 基本的辐射图像形成模型（扩展内容，可不阅读）

图像形成（2） 基本的辐射图像形成模型

  下面将简要描述一个基本的辐射图像形成模型，并表明为了将模型简化为纯几何模型必须要进行一些简化。 我们会了解到图像上的像素强度（亮度）是怎么产生的。 在适当的假设下，我们表明这种强度仅取决于从空间中可见曲面辐射的能量而不是有利位置。

简版

  设$S$ 是空间中光滑的可见曲面块; 我们在点$p$ 处指出曲面的切平面$\tau$ 和向内单位法向量 $v$。在每个$p\in S$，我们可以构造一个局部坐标系，其原点位于$p$，$e_3$轴平行于法向量$v$ 和$(e_1,e_2)$-平面平行于$\tau$，见图1。

图1。生成模型

  $p$的参考点和惯性参考系（"世界"坐标系）之间的坐标变化由$g_p$表示; $g_p$将$p$中局部坐标系中的点映射到惯性系中的点。例如，$g_p$将原点$o$映射到点$p$（相对于世界坐标系）：$g_p(o)=p$;和向量$e_3$映射到表面法线$v$（再次相对于世界坐标系）：$g_{p_{\ast }}(e_3)=v$。值得一提的是，如果我们用旋转矩阵$R\in SO(3)$和平移向量$T$表示坐标$g$的变化，则$g$对坐标$\mathrm{X}\in {\mathbb{R}}^3$的点$p$的作用由$g(p)\dot{=}R\mathrm{X}+T$给出,而$g$对坐标$u$的矢量的作用由$g_{\ast }(u)\dot{=}Ru$给出。我们将不区分坐标$g$的变化及其表示，并且我们还将可互换地考虑$p\in {\mathbb{E}}^3$及其表示$\mathrm{X}\in {\mathbb{R}}^3$。

  然后考虑在空间$L$（光源）中的曲面的紧凑区域上的能量$dE$的分布。 例如，$L$可以是半球，$dE$在阴天使用光的情况下是恒定的，或者L可以是远点，而$dE$是在晴天的阳光情况下的$delta$测量值。 可以使用沿矢量${\lambda }_p$从$L$到$p$辐射的无穷小能量$dE({\lambda }_P)$来描述点$p\in S$上光源的影响。 假设能量传递的相加性，达到$p$的总能量是$E(p)={\int }_{L}dE({\lambda }_p)$，其当然取决于所讨论的点$p$。 注意，可能存在几个光源，包括间接光源（即，将能量反射到$S$上的其他物体）。

  来自方向${\lambda }_p$的能量部分被反射到${\mathrm{x}}_p$方向上由$\beta ({\mathrm{x}}_p,{\lambda }_p)$描述，即双向电感分布函数（BRDF）。 因此，通过将BRDF与能量分布相结合来获得影响${\mathrm{x}}_p$的能量:

$$\epsilon ({\mathrm{x}}_p,p)\dot{=}{\int }_L\beta ({\mathrm{x}}_p,{\lambda }_p)dE({\lambda }_p)$$

  这取决于方向${\mathrm{x}}_p$和点$p\in S$，以及光源$L$的能量分布$E$.

  传感器的几何形状由中心投影描述$\pi$。 对于在摄像机坐标系中表示的坐标为$\mathrm{X}\in {\mathbb{R}}^3$的点$p$，其$e_3$轴平行于光轴，$(e_1,e_2)-$平面平行于镜头，投影可以建模为：

$$\pi :{\mathbb{R}}^3\to \Omega ;\mathrm{X}\mapsto \mathrm{x}=\pi (\mathrm{X})$$

  其中在平面投影的情况下（例如，在CCD上）在$\Omega \subset {\mathbb{R}}^2$中有$\pi (\mathrm{X})\dot{=}\mathrm{X}/Z$，或者在球形投影的情况下（例如，在视网膜上）,$\Omega \subset {\mathrm{S}}^2$中有$\pi (\mathrm{X})\dot{=}\mathrm{X}/||\mathrm{X}||$。 我们不会对这两个模型进行区分，只是简单地用$\pi$来表示。

  为了表示相机坐标系中的${\mathrm{x}}_p$方向，我们考虑从点$p$处的局部坐标系到相机坐标系的坐标变化。 为简单起见，我们让惯性坐标系与相机坐标系重合，这样$\mathrm{X}\dot{=}{g}_p(o)=p$和$\mathrm{x}\sim g_{p_{\ast }}({\mathrm{x}}_p)$,其中$g_{p_{\ast }}$是一个旋转，所以$x$取决于${\mathrm{x}}_p$，而$\mathrm{X}$取决于$p$。

   符号$\sim$表示射影等价，即等于标量的等式。 严格地说，$\mathrm{x}$和${\mathrm{x}}_p$不代表相同的向量，而只是相同的方向（它们具有相反的符号和不同的长度）。 然而，它们确实代表射影平面中的相同点，因此我们将它们视为同一个。 为了获得相同的嵌入式表示（即${\mathbb{R}}^3$中具有相同坐标的矢量），我们必须写$\mathrm{x}=\pi (-g_{p_{\ast }}({\mathrm{x}}_p))$。 如果我们使用具有对映点的球体来模拟投影平面，则同样适用。

  转换$g_p$本身取决于$p$处表面的局部形状，特别是它在$p$点的切平面$\tau$和它的法线向量$v$ 。 一旦我们在前面的该式$\epsilon ({\mathrm{x}}_p,p)\dot{=}{\int }_L\beta ({\mathrm{x}}_p,{\lambda }_p)dE({\lambda }_p)$中的$\mathrm{x}$替换为${\mathrm{x}}_p$中的$\varepsilon $，我们就获得了辐照度(radiance):

$$R_1(p)\dot{=}\epsilon (g_{p_{\ast }}^{-1}(\mathrm{x}),p)；\mathrm{x}=\pi (p)$$

  我们的（理想）传感器可以测量沿$x$方向接收的能量，假设是针孔模型：

$$I_1(\mathrm{x})=R_1(p);\mathrm{x}=\pi (p)$$

  如果光学系统没有很好地通过针孔建模，则必须明确地对薄透镜进行建模，因此不仅沿${\mathrm{x}}_p$方向求积分，而且沿着当前点和透镜的几何形状确定的锥体中的所有方向积分。 为简单起见，我们将注意力限制在针孔模型上。

  注意$R_1(p)\dot{=}\epsilon (g_{p_{\ast }}^{-1}(\mathrm{x}),p)$中的$R_1$取决于表面$S$的形状，由其位置$p$和表面法线$v$表示，但它还取决于光源$L$，其能量分布$E$和表面$S$的反射特性， 由$BRDF\beta$代表。 我们写了这个依赖关系

$$I_1(\mathrm{x})={\int }_L\beta (g_{p_{\ast }}^{-1}(\mathrm{x}),{\lambda }_p)dE({\lambda }_p);\mathrm{x}=\pi (p)$$

  我们用简写符号表示为$I_1(\mathrm{x})=R_1(p;v,\beta ,L,E)$，其中我们强调对$v,\beta ,L,E$的依赖除了$p$。 $I_1$称为（图像）辐照度(irradiance)，而$R_1$称为（场景）辐亮度(radiance)。

  当从不同的视点拍摄图像时，必须考虑相对于惯性参考系的坐标$g$的变化。 假设惯性坐标系与图像$I_1$重合，我们可以通过用$g$移动来获得新的图像$I_2$（参见图1）。 第一和第二相机坐标系中的点$p$的坐标通过$p_2=g(p)$和$\mathrm{x}=\pi (p)$,${\mathrm{x}}_2=\pi (p_2)=\pi (g(p))$相关。 利用${\mathrm{x}}_2=\pi (g(p))=\pi (g(g_p(o)))$的事实，我们得到第二张图像取光（从$p$反射）在${\mathrm{x}}_{p2}\sim (g{g}_{p_{\ast }}{)}^{-1}({\mathrm{x}}_2)$的方向（相对于$p$处的局部坐标系）。 因此，新视点方向上的（场景）辐亮度由下式给出

$$R_2(p,g;v,\beta ,L,E)\dot{=}\epsilon ((g{g}_{p_{\ast }}{)}^{-1}({\mathrm{x}}_2),p)$$

  并且（图像）辐照度是$I_2({\mathrm{x}}_2)=R_2(p,g;v,\beta ,L,E)$其中${\mathrm{x}}_2\dot{=}\pi (g([]))$。到目前为止，我们使用第一个图像作为参考， 所以${\mathrm{x}}_1=\mathrm{x}$，$g_1$是恒等变换且$p_1=p$。 不一定是这种情况。 如果我们选择一个任意的惯性参考并用$g_k$表示坐标变为摄像机$k$的参考，该帧中的点$p$的坐标$p_k$和相应的方向${\mathrm{x}}_k$，则对于每个$k=1,...,M$图像 ,我们可以写$I_k=R_k(p,g_k;v,\beta ,L,E)$。

  可以仅测量图像$k$的辐照度$I_k$直至有噪声。 由于我们假设能量传输现象是加性的，这种噪声将是相加的，但必须满足辐射和辐照度必须为正的约束

$$I_k=R_k(p,g_k;v,\beta ,L,E)+n_k({\mathrm{x}}_k)$$

  其中${\mathrm{x}}_k=\pi (g_k(p))$而且$R_k\ge 0$,$k=1,...,M$

  如果我们将注意力限制在一类称为朗伯（Lambertian）的材料上，并且根据视点不会改变外观，那么这个模型可以大大简化。 大理石和其他磨砂表面在很大程度上很接近朗伯模型。 金属，镜子和其他有光泽的表面不是。

  根据Lambert的模型，BRDF仅取决于表面面向光源的方式，而不取决于如何观察光源。 因此，$\beta ({\mathrm{x}}_p,{\lambda }_p)$实际上与${\mathrm{x}}_p$无关，我们可以将辐射函数视为在表面$S$上“粘合”或“绘制”，因此在每个点$p$处我们只得到辐射$R$ 取决于表面的几何形状，而不是明确地取决于光源。 特别是，我们有$\beta ({\mathrm{x}}_p,{\lambda }_p)=<{\lambda }_p,v_p>$，与$\mathrm{x}$和$R(p,v_p)\dot{=}{\int }_L<{\lambda }_p,v_p>dE({\lambda }_p)$无关。 由于${\lambda }_p$是法向量，它由$p$处表面的几何形状决定，因此知道普通点$p\in S$的位置，可以对其进行区分以计算切平面。 因此，有效地，辐射度$R$仅取决于表面$S$，由其普通点$p$描述：

$$I(\mathrm{x})=R(p)$$

  其中$\mathrm{x}=\pi (g(p))$相对于摄像机参考系。

详版

  设$S$ 是空间中光滑的可见曲面; 我们用$T_{p}S$ 和其向外单位法向量$v_p$表示在点$p$处的表面切线平面。在每个点$p\in S$，我们可以构造一个局部坐标系，其原点为$p$，其$z$轴平行于法向量$v_p$， 和它的$xy-$平面平行于$T_{p}S$ （见图2）。设$L$是一个光照的光线，我们可以将光线照射到光源上。为简单起见，我们可以假设$L$是空间中唯一的光源。 在点$q\in L$处，我们分别用$T_{q}S$和$V_q$表示$L$的切平面和向外单位法线，如图2所示。

图2。生成模型

  $p$的局部坐标系与相机坐标系之间的坐标变化，我们假设与世界坐标系重合，由刚体变换$g$表示; 然后$g$将$p$的局部坐标系中的坐标映射到相机坐标系中的坐标，并将局部坐标系中的任何矢量$u$映射到相机坐标系中的矢量$v=g_{\ast }(u)$。我们用旋转矩阵$R\in SO(3)$和平移向量$T$表示坐标$g$的变化，则$g$对坐标$\mathrm{X}\in {\mathbb{R}}^3$的点$p$的作用由$g(X)\dot{=}RX+T$给出,而$g$对坐标$u$的矢量的作用由$g_{\ast }(u)\dot{=}Ru$给出。

投影缩减(Foreshortening)和立体角(solid angle)

  当考虑光源和表面之间的相互作用时，我们需要引入投影缩减和立体角的概念。投影缩减用于当我们改变相对于照明源的表面取向时进行，查看表面上的光分布如何变化。 在公式中，如果$d{A}_p$是$T_{p}S$中的面积元素，并且$l_p$是指示从$p$到$q$的方向的单位向量（见图2），那么从$q$看到的相应的投影缩减区域是

$$\cos (\theta )d{A}_p$$

  其中$\theta$是方向$l_p$和法向量$v_p$之间的角度; 即$\cos (\theta )=<v_p,l_p>$。 立体角定义为在单位球面上切出的圆锥的面积。 然后，从无穷小区域$d{A}_p$的点$q$看到的无穷小立体角$d{\omega }_q$是

$$d{\omega }_q\dot{=}\frac{\cos (\theta )d{A}_p}{d(p,q{)}^2}$$

  其中$d(p，q)$是$p$和$q$之间的距离。

辐亮度(radiance)和辐照度(irradiance)

  也可以称为入射度和出射度。

  在辐射测量中，辐射定义为沿着某个方向，垂直于放射方向的每单位面积（投影缩减效应），每单位立体角和每单位时间发射的能量的量。 如果我们用$p（\mathcal{R}，q，l_p）$表示$p$方向上$q$点处的辐射亮度，则光$L$在点$q$处朝在$S$上的$p$发射的能量是

$$dE(p,l_p)\dot{=}\mathcal{R}(q,l_p)\cos ({\theta }_q)d{A}_{q}d{\omega }_{q}dt$$

  其中$\cos ({\theta }_q)d{A}_q$是从$p$方向看到的$d{A}_q$的投影缩减区域，$d{\omega }_q$是公式$d{\omega }_q\dot{=}\frac{\cos (\theta )d{A}_p}{d(p,q{)}^2}$中给出的立体角，如图2所示。 注意，上面等式左边的点$p$和右边的点$q$通过将$p$连接到$q$的向量的方向$l_p$相关。

  虽然辐亮度用于发射的能量，但描述入射能量的量称为辐照度。 辐照度定义为沿某个方向，每单位面积和每单位时间接收的能量。 请注意，在辐照度的情况下，我们不会像辐射的情况那样投影缩减表面积。 用$dI(p,l_p)$表示在$l_p$方向上接收的$p$处的辐照度。 通过能量保存，我们得到$dI(p,l_p)d{A}_{p}dt=dE(p,l_p)$。 然后，在沿着方向$l_p$以立体角$d_w$照射表面$d{A}_p$的点$q$处的辐亮度$\mathcal{R}$和从该方向接收的在相同表面$d{A}_p$处测量的辐照度$d_I$通过以下方式相关联：

$$dI(p,l_p)=\mathcal{R}(q,l_p)\cos (\theta )d\omega$$

  其中$d\omega =\frac{\cos ({\theta }_q)}{d(p,q{)}^2}$是从$p$看到的$d{A}_p$的立体角。

双向反射分布函数

  对于许多常见材料，来自方向$l_p$的能量部分被表面$S$反射到方向$x_p$（即有利点的方向）上，由$\beta (x_p,l_p)$描述，双向反射分布函数（BRDF）。这里$x_p$和$l_p$都是以$p$的局部坐标表示的向量。更确切地说，如果$d\mathcal{R}(p,x_p,l_p)$是从辐照度$dI(p,l_p)$方向发射的辐射， BRDF由比率给出

$$\beta (x_p,l_p)\dot{=}\frac{d\mathcal{R}(p,x_p,l_p)}{dI(p,l_p)}=\frac{d\mathcal{R}(p,x_p,l_p)}{\mathcal{R}(q,l_p)\cos (\theta )d\omega }$$

  为了获得出射方向$x_p$处的点$p$处的总辐射，我们需要将BRDF与半球$\Omega$中的所有在$p$入射辐照方向$l_p$求积分：

$$\mathcal{R}(p,x_p)={\int }_{\Omega }d\mathcal{R}(p,x_p,l_p)={\int }_{\Omega }\beta (x_p,l_p)\mathcal{R}(q,l_p)\cos (\theta )d\omega$$

朗伯（Lambertian）表面

  如果我们将注意力限制在一类称为朗伯（Lambertian）的材料上，根据观察方向不会改变外观，则可以大大简化上述模型。 例如，哑光（matte）表面在很大程度上很好地接近朗伯模型，因为它们几乎均匀地在所有方向上漫射光。 然而，金属，镜子和其他有光泽的表面却没有。 图3说明了一些常见的表面属性。

该图展示了计算机图形中广泛用于模拟自然物体表面的不同表面属性：朗伯，漫反射，反射，镜面（高光），透明折射和纹理。 只有（木质纹理）金字塔呈现朗伯反射。 右侧的球部分是环境，漫反射，反射和镜面反射。 棋盘地板部分是环境，漫反射和反射。 左边的玻璃球既有反射又有折射。

  对于完美的朗伯曲面，其辐射率$\mathcal{R}(p,x_p)$仅取决于表面面向光源的方式，而不取决于观察光源的方向$x_p$。 因此，$\beta (x_p,l_p)$实际上与$x_p$无关，我们可以将辐射函数视为在表面S上“粘合”或“绘制”，因此在每个点$p$处，辐亮度$\mathcal{R}$仅取决于表面。因此，感知的辐照度将仅取决于表面上的哪个点，而不是取决于它在哪个方向上看。更确切地说，对于朗伯表面，我们有

$$\beta (x_p,l_p)=\rho (p)$$

  其中$\rho (p):{\mathbb{R}}^3\mapsto {\mathbb{R}}_{+}$。${\mathbb{R}}_{+}$是标量函数。 在这种情况下，我们可以很容易地计算出表面的反射率${\rho }_a$，它是在任何方向上反射的入射辐照度的百分比:

$$\begin{array}{rl}{\rho }_a(p)& ={\int }_{\Omega }\beta (x_p,l_p)\cos ({\theta }_p)d{\omega }_p\\ & =\rho (p){\int }_0^{2\pi }{\int }_0^{2\pi }\cos ({\theta }_p)\sin ({\theta }_p)d{\theta }_{p}d{\varphi }_p\\ & =\pi {\rho }_p\end{array}$$

  其中$d{\omega }_p$，如图2所示，是出方向上的无穷小立体角，可以通过空间角度$({\theta }_p,{\varphi }_P)$参数化为$d{\omega }_p=\sin ({\theta }_p)d{\theta }_{p}d{\varphi }_p$。因此， 来自朗伯表面$S$上的点$p$的辐亮度是

$$\mathcal{R}(p)={\int }_{\Omega }\frac{1}{\pi }{\rho }_a(p)\mathcal{R}(q,l_p)\cos (\theta )d\omega$$

  该等式称为朗伯余弦定律(Lambertian cosine law)。 因此，对于朗伯表面，辐亮度$R$仅取决于表面$S$，由其普通点$p$描述，并且取决于光源$L$，由其辐亮度$\mathcal{R}(q,l_p)$描述。

朗伯表面的图像强度

  为了表示相机坐标系中的$x_p$方向，我们考虑从点$p$处的局部坐标系到相机坐标系的坐标变化$\mathrm{X}(p)\dot{=}g(o)$和$x\sim g_{\ast }({\mathrm{x}}_p)$,其中$g_{\ast }$是一个旋转，所以$x$取决于${\mathrm{x}}_p$，而$\mathrm{X}$取决于$p$。

  符号$\sim$表示射影等价，即等于标量的等式。 严格地说，$\mathrm{x}$和${\mathrm{g}}_{\ast }(x_p)$不代表相同的向量，而只是相同的方向（它们具有相反的符号和不同的长度）。 为了获得严谨的表达，我们必须写$x=\pi (-{\mathrm{g}}_{\ast }(x_p))$。 然而两个矢量确实通过摄像机中心表示相同的光线，因此我们将它们视为相同。

  变换$g$本身取决于$p$处表面的局部形状，特别是其在点$p$处的切平面$T_{p}S$及法线向量$v_p$。 我们现在可以根据摄像机坐标重新获得辐亮度的表达式,原先我们的辐亮度表达是：

$$\mathcal{R}(p,x_p)={\int }_{\Omega }d\mathcal{R}(p,x_p,l_p)={\int }_{\Omega }\beta (x_p,l_p)\mathcal{R}(q,l_p)\cos (\theta )d\omega$$

  而如今我们改为：

$$\mathcal{R}(X)\dot{=}\mathcal{R}(p,g_{\ast }^{-1}(x))；x=\pi (\mathrm{X})$$

  如果曲面是朗伯曲面，则上述表达式简化为

$$\mathcal{R}(X)=\mathcal{R}(p)$$

  假设我们的成像传感器由薄透镜很好地建模。 然后，通过测量沿$x$方向接收的能量的量，$x$处的辐照度（或图像强度）$I$可以表示为来自点$p$的辐射的函数：

$$\begin{array}{rl}I(x)& =\mathcal{R}(X)\frac{\pi }{4}(\frac{d}{f}{)}^2{\cos }^4(\alpha )\\ & =\mathcal{R}(p)\frac{\pi }{4}(\frac{d}{f}{)}^2{\cos }^4(\alpha )\\ & =\frac{1}{4}(\frac{d}{f}{)}^2{\cos }^4(\alpha ){\int }_{\Omega }{\rho }_a(p)\mathcal{R}(q,l_p)\cos (\theta )d\omega \end{array}$$

  其中$x$是在有利位置$g$处取得的点$p$的像。 请注意，在上面的表达式中，只有角度$\alpha$取决于有利位置。 通常，对于具有小视场的薄透镜，$\alpha$近似恒定。 因此，在我们理想的针孔模型中，我们可以假设图像强度（即辐照度）与辐照度方程的表面辐亮度有关：

$$I(x)=\gamma \mathcal{R}(p)$$

  其中$\gamma \dot{=}\frac{\pi }{4}(\frac{d}{f}{)}^2{\cos }^4(\alpha )$是一个独立于有利点的常数因子。

  我们采用这个简单的模型。 辐照度$I$不随Lambertian表面的有利位置而变化的事实构成了允许在同一物体的多个图像之间建立对应关系的基本条件。