3D-HEVC视差矢量（一）

多媒体服务的大规模普及和高质量沉浸式用户体验日益增长的需求，促进了新视频技术和支持视频的移动设备的开发。随着对三维视频服务更高的需求，多视点视频成为目前多媒体领域的研究热点，同时也体现了下一代媒体应用的真实感和立体感，2015年，基于HEVC的立体视频编码标准3D-HEVC由国际视频编码联合工作组制定而成，目的是实现更高的压缩率并且在此基础上保持高视频质量，3D-HEVC采用了多视图视频加深度（Multiview Video plus Depth，MVD）表示法，可以在虚拟视点合成时获得更好的效果。

信息传递人眼步骤

1.首先场景中反射的可见光传递到人眼视网膜的感光细胞上，经过处理后，转换为神经冲动；
2.其次经过变换得到视束，中枢神经系统接收到视束；
3.最后，具体的物象才可以在视网膜上显示。人眼两瞳孔之间存在着一定的间距，大致为 6~7cm，这样使得人的双眼从不同的两个角度去观察客观的三维世界的景物。造成双目视差的原因是物体在视网膜上成像时存在着微小的差距，而视差就可以反映物体的深度信息。立体视频所带给人们的立体感、真实感和层次感源于人眼观察物体的视差。

如图为双目视觉模型，L和R点分别表示左眼和右眼，相当于平行摄像机阵列中的相邻两台摄像机，其中O点表示目标物体，通过左眼，能在显示屏幕上观察到的目标物体的范围是ac，通过右眼，能在显示屏幕上观察到的目标物体的范围是bd，目标物体O在左眼L的透射点为m，目标物体O在右眼R的透射点为n，OH这段距离表示目标物体距离人眼的深度，表示为h，视差表示目标物体O在左眼与右眼观察时所投射的点m与点n之间的位置偏差，即mn的距离。因此，视差矢量可以表示为|am|与|bd|之间的差值，即目标物体O在左眼与右眼之间的视差矢量。
由图显示，根据相似三角形关系可以得到式（1）和式（2）：

得到的视差矢量计算公式为：


由此可以得到，视差矢量与物体深度h有着密切的关系，基于不同视点观察的图像所获取的视差矢量取决于目标物体O的深度值，与深度值成反比。根据公式（1-4），可以得出结论，获取视差矢量可以通过目标物体与双目之间的距离h进行转换得到。

视差矢量的获取方式

三维视频中纹理信息与深度信息都是描述同一场景的，这些信息都是通过不同视点进行观察，它们之间存在相似性，同样也存在明显的差异。3D-HEVC分为独立视点和非独立视点进行编码解码，在进行非独立视点编解码过程中，使用新的技术来提高编解码效率，也是为了寻找视点间的相关性，来降低编解码的冗余度。视差矢量是用于寻找当前编码块或者当前预测块在不同视点上对应图像上最匹配的块。
**第一种，**基于相邻块的视差矢量获取方式，利用当前编码块在时域上和空域上的相关性，找到最匹配的编码块，计算位移差，从而得到视差矢量；
**第二种，**基于深度相邻块的视差矢量，比第一种方式在计算上更为复杂，利用深度信息最后转换为视差矢量。在3D-HEVC获取视差矢量的方式相似于3D-HEVC中Merge模式和3D-AVC 视频编码标准中的基于深度运动矢量预测技术。但这两种方式都存在计算复杂度高，运算效率低的问题