H. Jang, K. Bang, J. Jang and D. Hwang, “Dynamic Range Expansion Using Cumulative Histogram Learning for High Dynamic Range Image Generation,” in IEEE Access, vol. 8, pp. 38554-38567, 2020, doi: 10.1109/ACCESS.2020.2975857.
摘要
与一般方法不同的是, 文章没有在RGB 域学习 LDR到HDR的映射关系,而是先学习LDR到HDR 亮度累积直方图的映射,之后将LDR亮度直方图跟预测得到的直方图在,通过直方图匹配后,合并颜色分量得到初步HDR结果,因为颜色可能存在偏差,所有再学习初步HDR到GT之前的颜色映射,得到最终的HDR.
- 为什么在Lab域, 不是RGB域?
RGB域三通道LDR与HDR差异都比较大, 不好学习. 而Lab域, 只有亮度差异大, 颜色分量差异非常小.
- 为什么使用累积直方图不直接使用直方图?
直方图的形状和特征也过于复杂而无法学习。图4(c)清楚地显示了LDR和HDR直方图在形状,密度,局部变化方面的巨大差异, 直接学习LDR和HDR直方图未能对这些差异产生真实的HDR直方图的良好估计。然而,图像的累积直方图具有学习有利的特性,如图4(d)所示.LDR和HDR的累积直方图均具有从最低到最高亮度水平的平滑曲线,并且总是以相同的图像像素总数结束,局部变化已大大减少,因此,累积直方图的总体复杂度非常低,与原始直方图相比,LDR和HDR累积直方图之间的差异也较小。
算法流程
其中: 累积直方图bins设置为512, kernel size = 11 * 1 , 总共卷积层为60, 所以接收域为601=(11-1)*60+1 > 512
损失函数: (CDF: Cumulative Distribution Function)
L
o
s
s
C
D
F
=
∑
(
C
D
F
g
t
−
C
D
F
o
u
t
p
u
t
)
2
Loss_{CDF} = \sum(CDF_{gt} - CDF_{output})^2
LossCDF=∑(CDFgt−CDFoutput)2
因为存在色差, 所有进行色差学习:
损失函数: (G: ground-truth, E: estimated image)
L
o
s
s
c
o
l
o
r
=
∑
(
L
G
∗
−
L
E
∗
)
2
+
(
a
G
∗
−
a
E
∗
)
2
=
(
b
G
∗
−
b
E
∗
)
2
Loss_{color}=\sum\sqrt{(L_G^* - L_E^*)^2 +(a_G^* - a_E^*)^2 = (b_G^* - b_E^*)^2}
Losscolor=∑(LG∗−LE∗)2+(aG∗−aE∗)2=(bG∗−bE∗)2
直方图匹配的局限性,在恢复完全丢失的信息方面存在局限性。 8位LDR图像是如此饱和,以至于强度被严格压缩,从而导致削波或量化。这些区域的强度差异很小,用肉眼无法分辨,或者它们被裁剪为单一强度,从而完全丢失了原始信息。在使用学习的累积直方图制作估算的HDR亮度图像的过程中使用直方图匹配。但是,由于直方图匹配涉及LDR图像中每个像素的一对一映射,因此无法恢复完美剪切的区域,尽管它可以有效地区分较小的强度差异区域。所以设计了在二维图像域中处理其他色差学习时通过3×3卷积层学习局部信息的方法。模型通过使用U-net结构的合并和上采样来学习一些裁剪区域。但是,这可能是不够的,因为它不会只集中学习剪切区域.