【论文】Pixel-wise orthogonal decomposition for color illumination invariant and shadow-free image

目录

Abstract

Introduction

算法详解

阴影线性模型和灰度光照不变图像

彩色光照不变图像

---

原文：Qu L, Tian J, Han Z, et al. Pixel-wise orthogonal decomposition for color illumination invariant and shadow-free image[J]. Optics express, 2015, 23(3): 2220-2239. OE是一区期刊，论文质量还是可以的。论文作者在阴影检测领域也发表过不少文章，基本都是基于正交分解做的阴影检测（虽然有一稿多投刷数量的嫌疑hhh），具有一定的参考价值。本文仅是对原文作翻译+自己的理解，供学习交流用。

本论文全文下载链接：https://arxiv.org/abs/1407.0010

相似参考文献：段志刚, 屈靓琼, 田建东,等. 基于正交分解的室外光照阴影检测[J]. 光学学报, 2016, 36(8):201-209.

除了翻译和解读原文之外，我还尝试了用MATLAB复现论文中的算法。完成之后发上来。

Abstract

此文提出了一种新颖，有效和快速的方法来从单个室外图像获得彩色照明不变和无阴影图像。与需要阴影检测或统计学习的新方法不同，本文是基于物理原理的阴影不变量为每个像素值矢量设置线性方程组，推导出其正交分解的解，然后为图像上的每个像素值矢量得到一个照明不变矢量。光照不变向量是线性方程组的唯一特定解，与其自由解正交。为了保留原始图像的纹理和颜色信息，需要再结合照明不变矢量和Lab颜色空间，提出了一种算法来生成无阴影图像。

Introduction

本文不用特征提取和阴影检测，直接获得一幅无阴影的户外图像。如上所述，建立的线性方程的解空间被分解为一维零空间和特定解空间（particular solution space）。零空间只和光照条件有关，特定解空间和光照无关。 

得到的彩色光照不变图像会存在颜色失真的问题，因此，再结合Lab颜色空间，对其进行处理，就能够产生一个无阴影的彩色图像，并且能够较好保留颜色和纹理信息。

算法详解

阴影线性模型和灰度光照不变图像

阴影线性模型：对于可见光，在给定光照的光谱功率分布（SPD）E（λ），目标反射率S（λ），和相机传感器响应Q（λ）的情况下，最终得到的像素值：

太阳发出的光线经过大气透射的影响，到达地面的入射光就被分为了直射的太阳光（sunlight）和漫反射的天空光（skylight）。对于阴影区域来说，得到的光线只有天空光，而非阴影区域则还包括太阳光。在比较容易出现阴影的晴朗天气，日光（太阳光和天空光的结合）和环境光（天空光）有着强烈的规律性，主要是由太阳角度控制的。基于上述准则，对于同一表面来说，在不同光照下相机响应的像素值的每个通道满足如下规则：

H只是一个记号，可以分别被替换为R,G,B。表示的是非阴影区域的RGB像素值，表示的是相同表面在阴影情况下表现出来的像素值。比例系数与表面反射率无关，近似等于下式决定的常数：

argmin f(x) 是指使得函数 f(x) 取得其最小值的所有自变量 x 的集合。由于H是{R,G,B}三通道值集合，或者说一个记号而已，所以应该是一个有三个值的集合，分别表示在R,G,B三通道上，K取得最小值时的取值。怎么算K？请继续往下看！

和分别表示日光和天空光下的光谱功率分布（SPD）。这两个值在本论文中作者是通过多个日期的实验测量取平均值得到的。

由（2）可以得到：

对于任意像素点：其RGB三通道值{}构成的算式:

恒定不变。（不论像素点是否在阴影中）。

上式中β1的值，求法如（5）。要求K{R,G,B}需要通过（3）。看起来比较麻烦。但是作者在他的另一篇文献《基于正交分解的室外光照阴影检测》中提到，K{R,G,B}的值可以取[6.79,5.92,4.24]。

根据上述式子，可以得到的是光照不变的灰度图像。

彩色光照不变图像

但是灰度图像往往丢失了颜色和对比信息。因此我们希望制造出彩色空间里的光照不变图像。由（4）式同理可得：

其中：

是三个阴影不变量。

我们记：,

则有：

整理为：

根据β的定义，可以有：

因此我们知道（11）中，rank(A)=2，所以（11）的解：

其中是任意特解，是归一化后的自由解，也就是有：

符号表示矩阵二范数。

作者告诉我们，一个的解是：

解值与图像本身无关，但是由矩阵A决定。因为A中是和光照有关的一系列参数，也就是说由光照条件决定。

构造：

我们可以证明,即Up是（11）的一个特殊的解。对于log(RGB)值组成的向量u，不管这个像素是否处于阴影中，都可以被分解为：

上式可以被称为像素级的正交分解。Up被称为a unique particular solution。这里我也不清楚如何翻译比较合适。

之后论文还讲了如何恢复阴影区域，由于我的研究工作不涉及到恢复，只进行光照不变图像的求解，所以就不细讲此块内容了。