BSIQA considering binocular characteristics and deep perception map based on DBN

摘要：

本文算法是基于小波变换基础上，对左右单视图进行2D特征提取，将其作为图像的内容描述，并且从深度感知图中提取3D特征作为深度感知描述。深度感知图（DPM）被用来量化纵向深度信息来描述立体视觉感知，2D特征包括高频小波系数的HoG特征和全局统计信息包括幅值，方差和熵值，来自DPM的 全局统计特征作为3D特征。训练和测试时，三个DBM模型用来训练三种特征并得到最后的质量分数。

介绍

主要贡献：

1. 大多数现有的算法使用双眼之间的绝对视差作为深度感知，但是忽略了主观立体感知是由双眼的正负视差得到的。在本文中提出了一种新的深度感知图来量化纵向深度信息，使之与人眼感知深度一致，可以直接反映人眼对场景相对位置和屏幕产生正视差和负视差的直观感受。
2. 人眼对高对比度区域非常敏感，如边缘、纹理和失真常常影响到立体图像的高频成分。传统的度量方法通常直接从样本或预处理图像中提取HoG特征。为了获得更有效地反映立体图像质量的特征，本文提取了高频子带系数的HoG特征作为视觉灵敏度的描述。据我们所知，我们是第一个使用基于高频小波系数的HoG特征来评价立体图像质量的;
3. 提出了一种新的双目权值系统来获得立体图像的内容质量。在考虑双目特征的基础上，研究了左右图像的多尺度感知特征，设计了动态加权系统。

相关工作

纵向深度感知理论

当人们看3D电影时，会感觉到电影中的场景在屏幕内或在屏幕外，这就是神单独感知。受此启发，将这种感知定量化，从而将物理量转化为指标，可以进行处理。