论文笔记：Estimation of Illuminant Direction and Intensity of Multiple Light Sources

1 四个问题

1.1 要解决什么问题？

在不事先知道球体的位置和半径的前提下，从一对球面上的立体图像中定位多个光源位置和评估光源强度

1.2 用什么方法解决？

使用一对立体图像，利用其视角的变化将球面图像分割成两幅图像，一幅为Lambertian强度，另一个为高光强度。高光强度可用来确定光源的方向，lambertian图像模型可用来确定光源的强度

1.3 效果如何？

合成图像和真实图像的实验结果表明，该方法具有良好的鲁棒性

1.4 还存在什么问题？

2 论文概述

2.1 简介

• 应用：明暗恢复形状算法需要光的方向；提高分割算法的效果；如果光源信息可用，能无缝结合合成图像和真实图像

2.2 寻找球面的中心和半径

假定其为透视投影，左边摄像机位于(0,0,0)右边摄像机位于(b,0,0)，其中b为基线。相机的方向为z轴正方向，第i束光的方向为(lx_i,ly_i,lz_i)。假定球心(s_x,s_y,s_z)，半径为r，球体第i个边界点在左边摄影机成像平面为(lbz_i,lby_i,f)，右边为(rbz_i,rby_i,f),球心S到通过任意边界点B_i的直线与相机中心C的距离为d_i为：$$d_i^2={\Vert CS\Vert }^2-(\frac{CS\cdot C{B}_i}{\Vert C{B}_i\Vert }{)}^2$$对于左右图像的边界点，可以得到：$$l{d}_i^2=\Vert \frac{(s_x,s_y,s_z)\cdot (lb{x}_i,lb{y}_i,f)}{\Vert (lb{x}_i,lb{y}_i,f)\Vert }\Vert$$$$r{d}_i^2=\Vert \frac{(s_x-b,s_y,s_z)\cdot (rb{x}_i-b,rb{y}_i,f)}{\Vert rlb{x}_i-b,rb{y}_i,f)\Vert }\Vert$$ld_i和rd_i分别为使用左右图像边界点计算的距离。利用边界跟踪算法，可以方便地检测出球面的边界点。由于焦距f和基线b都是已知的，所以距离ld_i和rd_i只取决于球中心的位置(sx,sy,sz)因此可以写成这三个未知数的函数:$$l{d}_i^2=h_i(s_x,s_y,s_z)$$$$r{d}_i^2=g_i(s_x,s_y,s_z)$$因此我们可以定义两个误差函数：$$EO{F}_1=\sum (h_i(s_x,s_y,s_z)-r^2{)}^2$$$$EO{F}_2=\sum (g_i(s_x,s_y,s_z)-r^2{)}^2$$将这两个误差函数最小化就可以得到球面中心和半径之间的两个关系

2.3 分离图像

假设光源与球面上各点之间的距离相对于球面半径足够大，切球面具有反射特性，则球面上某点的强度可表示为：$$I=I_{ambient}+\sum (I_{diffuse}^{(i)}+I_{specular}^{(i)})$$其中I_lambient表示环境强度，I_diffuse⁽ⁱ⁾和I_specular⁽ⁱ⁾表示第i束光源的漫反射强度和高光反射强度。观察可知：

• 环境强度和漫反射强度与视图方向无关，高光强度则高度依赖视图方向
• 立体图像对之间唯一的区别是视图方向的改变
  

因此我们可以通过从漫反射和环境强度中分理出高光强度来比较立体图像对的强度。由于已经得到球体的中心和半径，因此便可以唯一地确定球体表面每个点的三维位置，将球面上一个三维点投影到左右
图像平面上，得到两个图像像素。假设左图中的像素(i₁,j₁）对应于右图中的像素(i₂,j₂)可以得到两个像素的强度差$$D(i_1,j_1,i_2,j_2)=I(i_1,j_1)-I(i_2,j_2)=I_{ambient}(i_1,j_1)+\sum (I_{diffuse}^{(i)}(i_1,j_1)+I_{specular}^{(i)}(i_1,j_1))-I_{ambient}(i_2,j_2)+\sum (I_{diffuse}^{(i)}(i_2,j_2)+I_{specular}^{(i)}(i_2,j_2))=\sum (I_{specular}^{(i)}(i_1,j_1)-I_{specular}^{(i)}(i_2,j_2))$$根据Phong高光反射模型可知：$$I_{specular}^{(i)}(i_1,j_1))=Is{}^{(i)}(cos{\theta }_1{)}^{n_s}$$$$I_{specular}^{(i)}(i_2,j_2))=Is{}^{(i)}(cos{\theta }_2{)}^{n_s}$$$${\theta }_1+{\theta }_2>\alpha$$I_s⁽ⁱ⁾为一个常量表示第i束光源产生的最大高光强度,n_s表示高光反射参数，θ₁和他和θ₂为视图向量V₁和V₂与反射向量R之间的夹角，α为V₁和V₂之间的夹角。如果n_s和α足够大，球面在晃动，基线b足够大，我们定义一个小的数ε<α/2，则$$（cos\theta {）}^{n_s}\approx \{\begin{array}{cc}1& if\theta <\epsilon \\ 0& otherwise\end{array}$$因此，有$$I_{specular}^{(i)}(i_1,j_1)\approx \{\begin{array}{cc}{I}_s^{(i)}& if{\theta }_1<\epsilon \\ 0& otherwise\end{array}$$$$I_{specular}^{(i)}(i_2,j_2)\approx \{\begin{array}{cc}{I}_s^{(i)}& if{\theta }_2<\epsilon \\ 0& otherwise\end{array}$$θ₁和θ₂不能同时小于ε，故上市不可能同时小于I_s⁽ⁱ⁾因此，我们可以推论出$$if{D}^{(i)}(i_1,j_1,i_2,j_2)=0,I_{specular}^{(i)}(i_1,j_1)=0and{I}_{specular}^{(i)}(i_2,j_2)=0$$$$oherwise:I_{specular}^{(i)}(i_1,j_1)=I_s^{(i)}and{I}_{specular}^{(i)}(i_2,j_2)=I_s^{(i)}$$假定光源不是很密集则D⁽ⁱ⁾(i₁,j₁,i₂，j₂)互不干扰，则D(i₁,j₁,i₂，j₂)和D^(i)(i₁,j₁,i₂，j₂)具有相同的性质。我们定义th_disffuse和th_specular，如果D(i₁,j₁,i₂，j₂)<th_disffuse，则说明像素强度的高光分量会非常小，以至于像素强度只包含漫反射和坏境强度，我饿么将其称为称为Lambertian像素，只包含Lambertian像素的图像称为Lambertian图像。当
D(i₁,j₁,i₂，j₂)>th_specular时，高光强度应该是大的，我们将这些像素称为高光像素，只包含高光像素的图像为高光图像。

2.4 光源方向评估

我们可以通过将高光点按相对位置分组来确定哪对光斑来自同一光源：根据水平坐标对高光点进行排序，然后根据每个图像的垂直坐标进行，将高光点有效地配对在一起。高光点是一个包含许多像素的区域，我们必须在其中找到一个像素来表示这个区域：形心点。
P₁，P₂是由相同光源I分别在左右图像产生的高光点，S₁和S₂分别是P₁和P₂在球面上的对应点。一旦我们知道P₁和P₂，S₁和S₂的位置，我们可以计算法向量N₁、N₂和反射向量R₁和R₂，光源的方向向量I₁和I₂可以依据高光反射特性得到：$$I_1=(2N_1\cdot R_1)N_1-R_1$$$$I_2=(2N_2\cdot R_2)N_2-R_1$$光源方向向量$$I=(I_1+I_2)/2$$

2.5 光源强度评估

球面上任一点(x,y,z)Lambertian强度为$$I_{diffuse}(x,y,z)=I_a+\sum I{d}^{(i)}(N(x,y,z)\cdot L^{(i)})$$其中$$N(x,y,z)=\left(\begin{array}{c}x-s_x\\ y-s_y\\ z-s_z\end{array}\right)$$N为法向量，L⁽ⁱ⁾为第i个光源的方向向量，I_a为环境强度，Id⁽ⁱ⁾为第i个光源产生的强度。对于每一个像素(i₁,j₁)我们能得到球面上对应的点，因此每个像素点(i₁,j₁)的Lambertian强度为$$I_{diffuse}(i_1,j_1)=I_a+\sum I{d}^{(i)}(N(i_1,j_1)\cdot L^{(i)})$$由于(s_x,s_y,s_z)已知，故，N（i₁,j₁）能够被计算出因此我们有i+1个未知数，I_a和Id⁽ⁱ⁾，因此我们得到误差函数$$EO{F}_3=\sum [I_{diffuse}(i_1,j_1)-I_a-\sum I{d}^{(i)}(N(i_1,j_1)\cdot L^{(i)}){]}^2$$通过设置未知数的初值和搜索范围来提高极小化问题的收敛性和结果的准确性。例如强度应该是正的，若强度小于0是对误差函数设置惩罚值。

2.6 实验

对于th_Lambertian和th_specular的选择：

• 如果th_Lambertian的值过小，意味着为了成为一个漫反射像素，左右图像对应像素的强度差距应该小，也意味着漫反射像素为了满足情况应该低噪声。折中的办法是减少候选像素的数量
• 如果th_specluar的值过大，意味着为了成为一个高光像素，左右图像中对应像素之间的强度差异应该更大，这将导致一个更小的高光点和消除重叠的问题，但它也有可能导致一些高光点消失。