ACM MM 2018的论文,做的是欠曝光图像的增强。
本文认为,之前的进行暗光增强的方法会导致visual artifacts,比如色彩空间的扭曲、细节损失、曝光度一致性不够,云云。作者认为这些artifacts产生的原因是传统的变换方法打破了输入和输出的感知一致性(perceptually similarity)。
由Retinex理论,作者把问题暗光图像增强问题看做光照图像的预测问题,并且使用感知双向相似性(perceptually bidirectional similarity,PBS)来进行三个方面的约束,从而获得合适的曝光度、鲜艳的色彩以及清晰的纹理。
Retinex 理论
一张图像I可以被分解为反射图像R和光照图像S的乘积,即 I = S × R I=S\times R I=S×R。本文的目的是通过预测S,从而通过R=I/S来获得曝光度合适的图像。
感知性双向相似性(Perceptually Bidirectional Similarity)
作者认为,artifacts产生的原因是输入图像和输出图像中无法保证一致性(visual consistency),因此PBS可以被定义为下述两点:
- I中存在的色彩和纹理也应该存在于R中;I中连续的曝光度特征也应该在R中连续。
- R中不应该包含I中不存在的色彩、纹理和曝光度特征。
由此定义PBS的三个约束:色彩空间约束、纹理约束、曝光度约束。
色彩空间一致性约束
假设输入图像I被归一化到[0,1]之间,由于R=I/S可知,S越小,R的RGB值越大;S越大,R的RGB值越小。当S过小时,R会跳出[0,1]区间,导致色彩的不一致性。为了避免这一问题,我们将光照矩阵S的RGB值限制在I的全部RGB值中的最大值。即 m a x I p c = Γ ( S p m i n ) , c ∈ { r , g , b } max I_p^c = \Gamma(S_p^{min}),c\in\{r,g,b\} maxIpc=Γ(Spmin),c∈{
r,g,b}
其中 Γ \Gamma Γ是Gamma函数 Γ ( α ) = α γ \Gamma(\alpha)=\alpha^\gamma Γ(α)=αγ,其中 γ ∈ ( 0 , 1 ) \gamma\in(0,1) γ∈(0,1),因此, S p m i n = ( m a x I p c ) 1 / γ S_p^{min} =(maxI_p^c)^{1/\gamma} Spmin=(maxIpc)1/γ。色彩空间约束可被描述为 S p m i n ≤ S p ≤ 1 S_p^{min}\le S_p\le 1 Spmin≤Sp≤1
纹理一致性约束
假设I在像素p附近平滑,则R也应该是平滑的;假设I在像素p附近有edge,那么R就应该有更强的或者相同的edge。可被表示为
{ ∇ R p = 0 ∣ ∇ I p ∣ ≤ τ δ d R p / δ d I