Correction of the overexposed region in digital color image阅读札记

Correction of the overexposed region in digital color image
阅读札记

  论文发表于2014年的IEEE Transactions on Consumer Electronics。

Abstract

  本文提出了一种新的过曝光校正方法，它由亮度校正和色度恢复两部分组成。
亮度校正：
  最小化本文提出的具有两项的能量泛函得到修正后的OR的亮度（两项分别保留二维高斯函数建模的亮度和原始亮度的梯度）。
色度恢复：
  （1）进行颜色拉伸以补偿OR周围的褪色颜色。
  （2）通过传播相邻非过曝光区域(非OR)的拉伸颜色来恢复OR的颜色。

Method

算法框架图

  为了分别处理过曝光区域OR的亮度和色度，首先将原始图像转换为$YCbCr$空间，其中$Y$通道代表亮度，$Cb$通道和$Cr$通道代表色度。在$Y$通道中检测到OR。对于检测到的OR，先进行亮度校正，然后进行色度恢复。

1、过曝光区域检测

  设置阈值为230，将图像$Y$通道中超过阈值的区域定义为一个OR，将所有OR中像素总数不小于40的像素区域定义为一个过度曝光斑点OB。

2、亮度校正

（1） 计算OB边界上像素的高斯函数方差
  观测到物体的亮度在物体质心处最大，在远离质心处逐渐减小，本文利用提出的二维高斯模型估计物体的亮度。利用距离变换得到的距离映射来确定每个OB的质心位置（取OB中像素点$i$，找到距离像素$i$最近的非OB像素点$j$，用像素点$i$和像素点$j$的距离$d_{ij}$标记像素点$i$，对图像中所有OB进行该操作得到距离图，距离图中具有最大标签的像素确定为每个OB的质心）。
  由于物体的形状不是规则的，光的亮度不能用一个高斯函数来估计。因此，对每个物体使用多个高斯函数，利用物体质心像素和边界像素的亮度值，得到每个高斯函数的方差。设$B$表示位于OB边界上一像素宽的一组像素。利用$Y$通道在像素$i\in B$处的强度值和OB的质心像素$p$，得到像素$i$处高斯函数的方差 。

  $Y_i,Y_p$：分别为像素$i$和$p$的亮度
  $d_{(i,p)}$：$i$和$p$之间的欧几里德距离

（2） 计算高斯模型亮度
  设$O$和$\overline{O}$为图像中过曝光像素和非过曝光像素的集合。那么，高斯模型的亮度$Y^G$定义如下:

  ${\sigma }_{j^2}$：像素$j$的方差
  若像素$j$,$j\in O$,位于某OB中像素质心与像素$i\in B$的直线上，则${\sigma }_j={\sigma }_i$。

  上图显示了使用二维高斯建模产生的$Y$通道。图（c）和（d）分别为图（a）和（b）中红色方框标记的OB的3D轮廓。由于图（a）中以蓝线为界的OB包含少量纹理，OR的轮廓看起来像一个平面形状，如图（c）所示。另一方面，在图（d）中，与图（c）相比，估计的亮度轮廓形状遵循二维高斯模型。

（3） 保留纹理细节
  检测到的OR中存在纹理细节，这就要求在修正亮度的同时保留原图像的梯度。本文提出新的能量泛函，得到修正后的亮度$Y^{\ast }$

  $\Vert {\Vert }_2$：$l_2$范数，
  $\gamma$：平衡第一项和第二项的权重因子
  $\nabla Y_j$和$\nabla {\hat{Y}}_j$：分别表示$Y$和$\hat{Y}$在像素$j$处的梯度
⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐
⭐新能量泛函由两项组成：数据项、梯度项                      ⭐
⭐数据项$({\hat{Y}}_j-Y_j^G{)}^2$：最小化$\hat{Y}$和高斯模型亮度之间的差异              ⭐
⭐梯度项$\gamma \Vert \nabla {\hat{Y}}_j-\nabla Y_j{\Vert }_2^2$：通过最小化$\hat{Y}$和$Y$的导数差来保持原始图像梯度。      ⭐
⭐  当$\gamma =0$时， ${\hat{Y}}_j^{\ast }=Y^G$                           ⭐
⭐  当$\gamma \to \infty$时，数据项的影响逐渐减小，${\hat{Y}}_j^{\ast }$收敛于$Y$。              ⭐
⭐  故可以通过调整$\gamma$来控制保留高斯模型的亮度和保留原始图像的梯度之间的权衡。  ⭐
⭐  本文$\gamma =0.5$取得最佳效果                           ⭐
⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐

（a）输入图像
（b）亮度图像，OR中存在纹理细节
（c）高斯模型亮度图像
（d）本文方法得到的合成亮度图像，保留了纹理细节

3、色度恢复

（1） 颜色拉伸
  颜色越鲜艳，每个颜色通道的强度和亮度的差异就越大，于是通过控制每个颜色通道与亮度值的差值来补偿褪色的颜色。为此，首先从RGB空间的每个颜色通道中减去亮度强度，如下所示：

  $D_i$：像素$i$处的差分矩阵
  $O_i$：$O_i=[R_i,G_i,B_i{]}^T$, $R_i$,$G_i$,$B_i$分别表示原始图像在像素$i$处的RGB空间强度
  像素$i$处拉伸颜色在RGB空间下的强度${\hat{O}}_i$为：
  ${\beta }_i$表示给出的权重因子：

  ${\tilde{\sigma }}_i$：RGB空间中像素$i$处的通道强度的标准差
⭐像素$i$褪色情况↓，${\tilde{\sigma }}_i$↑，$D_i$由${\beta }_i$加权接近0，拉伸后的颜色变得与原始颜色相似。
⭐像素$i$褪色情况↑，${\tilde{\sigma }}_i\to 0$, ${\beta }_i$↑，颜色会得到更大的拉伸和补偿。

  如图4(b)所示，拉伸后的图像颜色比图4(a)中原始图像颜色更深、更鲜艳。
（2） 色度估计
  拉伸图像生成，通过使用双边非线性滤波器，将过度曝光像素的颜色从邻近像素的拉伸颜色传播。根据亮度相似的相邻像素通常具有相似的颜色，利用修正后的亮度与原始颜色的差异来确定该非线性滤波器的权重。设$C_m=[C{b}_m,C{r}_m]$，其中$C{b}_m$和$C{r}_m$分别为原始图像在像素$m$处$Cb$通道和$Cr$通道的强度，则计算出滤光权$w_{(m,n)}$：

  $G$：高斯函数
  $m,n$：分别为过曝光像素$m$和其附近的邻像素
  得到像素$m$处的色度恢复结果如下：

  ${\hat{C}}_n=[\hat{C}{b}_n,\hat{C}{r}_n]$, $\hat{C}{b}_n$和$\hat{C}{r}_n$是$Cb$和$Cr$通道拉伸图像
  $\Omega$：一组像素属于$S\cup \overline{O}$在3×3的$mask$，
  $S$：已经纠正颜色的一组像素

Experiment

1、定性分析

（a）为输入图像，（b）（c）为其他方法效果图，（d）为本文方法效果图

2、时间复杂度分析

Conclusion

  本文提出了一种基于能量泛函和颜色拉伸的过曝光校正方法。对各种测试图像的实验结果表明，与传统方法相比，该方法不仅具有更好的主观质量，而且处理时间较短。