目录
作者:Wonseok Ahn & Jae-Seung Kim
(Video Lab., A/V Solution Team, Digital Media R&D Center, Samsung Electronics CO., Ltd.)
0. 摘要
在数字显示领域,位深的减少会导致图像出现伪轮廓。此外,数字电视显示过程中的一些视频增强处理,同样会让伪轮廓变得清晰可见,例如直方图均衡化、对比度增强以及清晰度增强等。位深的减少可能来自于多方面的限制,例如视频存储器限制、显示器的物理特性、显示驱动和低精度的MPEG量化等[1]。本文提出了一种有效的方法,用于检测和分割图像中的平坦区域,以及一种位深扩展技术,用于有效地消除伪轮廓。通过模拟位深的减少,制造不同类型的视频图像序列的伪轮廓,然后使用本文算法进行视频增强处理。结果表明,本文算法在保留物体边缘锐利度的同时,能够有效地消除图像中平坦区域的伪轮廓。
1. 概述
在数字显示领域(包括数字电视)中,位深的减少会导致图像中出现伪轮廓现象(False Contour)。位深的减少可能来自于多方面的限制,例如视频存储器限制、显示器的物理特性、显示驱动和低精度的MPEG量化等[1]。比如,当今的LCD显示器对于RGB信号至多能够显示8比特的灰阶。位深减少的结果是,画面中像素值接近平坦区域会出现类似于等高线的边缘。
不少的研究正聚焦于伪轮廓的消除技术。Lee等研究人员针对等离子显示器(PDP)采用带有伽马校正的抖动技术消除位深减少的影响。Dely和Feng[1]使用抖动进行预处理,再结合低通滤波进行后处理,已达到增加位深的目的。不过,该方法在消除场景中的伪轮廓的同时,会导致物体边缘的模糊。Joy和Xiang提出一种基于反馈的量化方法,用于检测和改善彩色图像中的伪轮廓。
伪轮廓现象(False Contour)最可能发生在图像中的低频区域或者梯度平滑区域,这些区域通常被称为平坦区域或平场区域。在平场区域中,由于像素值较为接近,并且在大范围内变化相对平缓,所以伪轮廓更容易被人眼察觉。此外,数字电视显示过程中的一些视频增强处理,同样会让伪轮廓变得清晰可见,例如直方图均衡化、对比度增强以及锐利度增强等。
本文提出了一种高效的平场区域的检测和分割方法,以及能够有效地消除伪轮廓的位深扩展技术,具体细节将在第2.1和2.2章节中加以说明,第3章节中将会展示该方法的实际运行结果。
2. 本文所提方法
2.1 平场检测及分割
平场检测及分割方法的目的在于,为后续的位深扩展处理做准备。考虑到伪轮廓最可能发生在图像中的平场区域,通过区域分割,可以避免对于物体边缘细节的处理,从而解决了一般性算法导致图像整体模糊的问题。
本文所提出的平坦区域的检测方法,基于使用以当前像素(i, j)为中心的局部区域的熵和二阶统计量(如图1)。
图1 平场检测及分割
局部像素熵的计算公式如下:
局部相关性(反映局部对比度)的计算公式如下:
平场映射图的生成公式如下:
在检测过程中,通过消除伪轮廓区域图中的孤立的伪轮廓像素点,可以避免错误检测。
2.2 扩展位深以消除伪轮廓
抖动和低通滤波是至今为止最为常用的两种增加位深的技术方案。从Daly和Feng的文章[1]中可以看到,使用低通滤波进行预处理,无法有效地消除伪轮廓。
本文所提到的位深扩展方案,由三个处理模块组成,分别为:随机分配(Random Shuffler)模块、低通滤波(LPF)模块、抖动(Dithering)模块(如图2)。如第2.1章节所述,这些模块的处理只会作用于之前检测到的平场区域。
当使用低通滤波时,滤波器系数的增益值需要根据当前像素位置与检测到的伪轮廓区域的边界的接近程度而变化,以实现处理区域和保护区域之间的平滑过渡。随机分配模块会随机变换局部像素块中像素的位置,具体如下:
swap(I(i,j), I(rand(i), rand(j)))
(rand(i), rand(j))∈Block_rand(i,j)
其中,rand()表示由均匀分布所生成的随机数索引,Block_rand(i,j)表示以(i,j)为中心点的局部像素块。
随机分配模块通过打乱局部的像素点位置,可以有效地消除伪轮廓,但是可能会导致意料之外的噪声的出现。为了解决这一问题,针对处理区域,引入低通滤波的后续处理(如图2)。当在图像中使用低通滤波器时,通过对滤波器的位分辨率的选择,可以实现位深由K-bit增加到L-bit(L>=K)。
为了能够在数字显示设备(包括数字电视)中显示低通滤波的输出(L-bit),我们需要对输出结果图像进行重新量化,以符合显示设备的位分辨率(Q-bit),通常Q-bit<=L-bit(如图2)。这一过程也可能会导致新的伪轮廓。针对该问题,需要用到抖动(dithering)技术(如图2)。通过采用误差扩散算法(注:误差扩散算法通过将误差传递到周围像素而减轻其造成的视觉误差),降低低通滤波输出与量化图像之间的误差[4],该算法使用Floyd和Steinberg的文章[5]中所提到的误差扩散滤波器。
图2 平场映射图中的位深扩展,对于当今大多数的显示设备,通常遵循L-bit>=Q-bit>=K-bit
3. 实验结果
在实验中,我们使用具有明显可识别的伪轮廓的图片和视频作为输入。图3(a)展示的是具有平滑像素过渡的原始图像,其平场检测结果可参见图3(b)中的白色区域。通过使用图3(c)所示的灰度映射函数,模拟视频的增强处理过程,使得伪轮廓更见清晰可见。图3(d)展示了经过灰度映射函数后图像中出现的伪轮廓。
图3 (a)原始图像,(b)平场检测结果,(c)映射函数,(d)具有伪轮廓的映射函数输出
图4(a)展示的是图3(a)经过LPF的结果图像,使用的LPF为5x5的均值滤波,该LPF同样应用于图3(b)的平场检测中。图4(b)展示的是图4(a)经过图3(c)的映射函数后的结果图像,伪轮廓仍然可见。
图4 (a)图3(a)仅通过LPF的结果,(b)图3(c)经过映射函数的结果
图5展示是经过本文算法处理后结果,原图像为图3(a),使用图3(c)的映射函数,使用的LPF为与图4相同的5x5的均值滤波。在图5(b)中,我们可以看到伪轮廓已经明显消失。
图5 (a)本文算法的结果,(b)图3(c)经过映射函数的结果
图6(a)展示的是6-bit视频流中的一帧图像,而终端显示设备的位深为8-bit,用以仿真平场区域的伪轮廓现象。图6(b)展示的是经过本文算法处理得到的平场检测结果。从图中可以看到,检测结果包含了伪轮廓区域,而排除了物体边缘区域。图6(c)为平场区域仅经过LPF处理后的结果图像,显示的是图6(a)中所框出的细节放大图。图6(d)展示的是图6(c)经过位深扩展后的结果图像,可以看到本文算法与仅使用LPF相比,具有更好的伪轮廓消除效果,同时保留了物体边缘的锐利度。
图6 (a)6-bit的视频图像,(b)平场检测结果,(c)仅通过LPF的结果,(d)本文算法的结果
图7展示了原始图像、LPF处理后图像和本文算法处理后图像之间的亮度变化对比,对比区域为图6中的放大区域。从图中可以看出,本文算法与LPF方法相比较,具有更为有效的伪轮廓消除效果。LPF方法虽然可以平滑伪轮廓边缘,但是无法有效地处理类似孔洞的情况。
图7 对于图6中的密集线条区域,水平方向的亮度变化趋势
4. 结论
本文提出了一种高效的平场区域的检测和分割方法,以及能够有效地消除伪轮廓的位深扩展技术。通过精确的平场检测,可以更好地保护场景中物体边缘。在平场检测的基础上,采用随机分配模块、低通滤波模块和抖动模块的组合增加位深,从而有效地消除了伪轮廓。在算法效果验证实验中,采用像素值映射函数对测试图片和视频进行处理,以模拟真实数字电视显示的视频增强处理过程。实验结果表明,本文所提出的算法能够在保护物体边缘锐利度的同时,有效地消除伪轮廓。
5. 参考文献
[1] Scott J. Daly and Xiaofan Feng, “Decontouring: prevention and removal of false contour artifacts”, Proc. SPIE Int. Soc. Opt. Eng. Vol. 5292, pp.130-149, 2004.
[2] Chang-Hoon Lee, Seung-Ho Park, Ji-Ku Kang and Choon- Woo Kim, “A real time image processor for reproduction of gray levels in dark areas on plasma display panel (PDP)”, IEEE Trans. on Consumer Electronics, Vol. 48, No.4, pp. 879-886, Nov. 2004.
[3] Gregory Joy and Zhigang Xiang, “Reducing false contours in quantized color images”, Computer & Graphics, Vol.20, No. 2, pp.231-242, 1996.
[4] Randy Crarie, “A Simplified Approach to image processing,” Prentice Hall, pp.166-168, 1997.
[5] R. W. Floyd and L. Steinberg, “An adaptive algorithm for spatial grayscale”, Proc. SID, Vol.17, No. 2, pp.75-77, 1976.