笔记——数字视频基础

数字视频基础概念：

视频由许多幅按时间排列的连续图像组成，每幅完整图像称为一帧（Frame）。图像是视频信号的基本单位，每一幅图像的内容不同，整个图像序列按时间顺序播放看起来就是活动的图像。由于视觉暂留机理，当连续播放图像每秒超过24帧以上时，人眼无法辨别单幅的静态画面，图像序列看上去是平滑连续的视觉效果，这样连续的画面叫作视频。

视频技术泛指将一系列的图像以电信号方式加以捕捉、纪录、处理、存储、传送与重现的各种技术。

数字视频就是以数字形式记录的视频，数字视频由一幅幅数字图像组成，每幅图像由N行、每行M个像素组成，每个像素由数字化的数值表示。
数字视频有时间分辨率、空间分辨率、色彩空间、量化深度等参数，这些参数的组合称为视频格式。

时间分辨率的单位为每秒图像的帧数（Frame per Second），即帧率。一般来说，帧率越高，视频的流畅性越好，但是人眼对于帧率的分辨率是有限的，当帧率高达一定程度时（例如普通分辨率视频30fps以上，高清视频60fps以上），人们已经基本不能看出帧率的变化，所以不必一味追求增加帧率。空间分辨率由图像的像素行数及每行的像素数表示，空间分辨率越高，图像的细节越清晰。色彩空间描述像素颜色的形式，一个彩色像素通常由三种分量描述。像素每一分量的数值对应的量化等级为量化深度，量化深度越大，像素值可以越精确。

颜色空间

视觉彩色感知：
虽然同一物体在不同照射光源下产生不同的反射光谱，然而人眼在不同入射光照条件下对物体颜色的感知趋于稳定，即人眼可以分辨这种由光源变化导致的物体表面反射谱的变化，这称为色彩恒定。需要注意的是，数字相机感光色彩只与入射光的光谱相关，因此需要采用后处理方式调整拍摄图像以达到色彩恒定。
颜色空间：
（1）RGB颜色空间。
RGB（红绿蓝）是依据人眼识别的颜色定义出的空间，可表示大部分颜色。RGB颜色空间是图像处理中最基本、最常用、面向硬件的颜色空间。我们采集得到的彩色图像，一般是被分成R、G、B的成分加以保存的，彩色监视器的显示系统也基于该颜色空间。采用RGB颜色空间表示视频时，其每个像素用三个分量表示，即R、G、B三个色度值。需要注意的是，RGB颜色空间的分量与亮度密切相关，即只要亮度改变，3个分量都会随之相应地改变，并不适用于图像处理。
（2）YUV颜色空间。
YUV颜色空间主要用于优化彩色视频信号的传输，并使其向后兼容老式黑白电视。其中Y表示明亮度，也就是灰阶值；而U和V表示的是色度，用于指定像素的颜色。亮度Y是通过RGB输入信号来建立的，方法是将RGB信号按特定比例叠加到一起。色度U反映的是RGB输入信号蓝色部分与信号亮度值之间的差异，色度V反映了RGB输入信号红色部分与信号亮度值之间的差异。YUV色彩空间的重要特征是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，那么这样表示的图像就是黑白灰度图像。彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色电视信号。Y’UV也是经常使用的颜色空间，其原理与YUV相同，其中Y’为Y经过伽马校正后的值。
（3）YCbCr颜色空间
YCbCr颜色空间与YUV颜色空间类似，其中Y表示明亮度，Cb表示RGB输入信号蓝色部分与信号亮度值之间的差异，Cr表示RGB输入信号红色部分与信号亮度值之间的差异。YUV颜色空间过去用于表示电视系统中向后兼容的模拟彩色信息，而YCbCr颜色空间则主要应用于图像、视频压缩的数字彩色信息表示，是YUV压缩和偏移的版本。然而，目前YUV颜色空间也常用于数字彩色信息的表示，此时其与YCbCr相同。
YCbCr颜色空间是数字视频压缩源的主要表示形式。YCbCr与RGB（8比特量化深度）相互转换的公式为：

量化深度
数字视频中像素的幅度值需要被量化，量化深度为像素值可以对应得量化等级。

空间分辨率
数字图像由排列整齐的像素组成，通常表示为矩形像素阵，矩阵内的元素对应图像中的像素。像素矩阵的行列数被用来表示图像的空间分辨率，如高清视频的空间分辨率为1920×1080，表示每幅图像的像素矩阵有1920列、1080行。可见图像的空间分辨率越高，图像包含的细节越多，高空间分辨率也是数字视频追求的目标。
时间分辨率
视频的时间分辨率是指每秒包含的图像帧数，也称帧率。视频的帧率越高，视频的时域流畅性越好。每秒24帧的电影看起来也许还行，但事实上每一帧都会有视觉模糊，尤其是在快速运动的镜头中。高帧率也是数字视频追求的目标。
数字视频格式
在数字视频采集的过程中，可以采用两种采样方法：一种是使用相同的空间采样频率对图像的亮度信号和色度信号进行采样，另一种是对亮度信号和色度信号分别采用不同的空间采样频率进行采样。如果对色度信号使用的空间采样频率比对亮度信号使用的空间采样频率低，这种采样就称为色度亚采样。
色度亚采样
色度亚采样在数字图像压缩技术中得到了广泛的应用，其基本依据是人眼对色度信号的敏感程度比亮度信号低，利用该特性可以把图像中表达颜色的信息去掉一些而不被人察觉。意味着对色度信号的采样率可以比亮度信号低，即相邻几个像素点可以共用相同的色度值。色度亚采样就利用人类视觉的这一特性来达到数据压缩的目的，从而衍生出多种YCbCr采样格式，如4：4：4、4：2：2、4：1：1和4：2：0。
4：4：4的YCbCr格式
图（a）给出了ITU-R BT.601中4：4：4采样格式的位置示意。在每个像素位置，都有Y、Cb和Cr分量，即不论水平还是垂直方向，每4个亮度样本都对应有4个Cb和4个Cr色度样本。在这种格式中，色度分量和亮度分量具有相同的空间分辨率，这种格式适用于视频源设备和高质量视频信号处理。
4：2：2的YCbCr格式
图（b）给出了BT.601中定义的4：2：2采样格式的位置示意。在水平方向上，每两个Y样本有1个Cb和1个Cr样本。显示图像时，对于没有Cb和Cr的样本，使用前后相邻的Cb和Cr样本进行计算得到。在这种格式中，色度分量和亮度分量具有同样的垂直分辨率，但前者的水平分辨率仅为后者的一半。在BT.601中，这是彩色电视的标准格式。
4：1：1的YCbCr格式
图（c）给出了BT.601中定义的4：1：1采样格式的位置示意。在水平方向上对色度分量进行4：1抽样，即每4个Y样本有1个Cb样本和1个Cr样本。显示图像时，对于没有Cb和Cr的样本，使用前后相邻的Cb和Cr样本进行计算得到。在这种格式中，色度分量和亮度分量具有同样的垂直分辨率，但色度分量的水平分辨率是亮度分量的1/4。这是数字电视盒式磁带（Digital Video Cassette，DVC）上使用的格式。
4：2：0的YCbCr格式
图（d）给出了BT.601中定义的4：2：0采样格式的位置示意，这是MPEG—2编码标准中使用的视频格式，在水平和垂直方向上对色度分量都进行了2：1的抽样，即每4个Y样本对应1个Cb样本和1个Cr样本，但是和4：1：1中色度样本的位置不同。在这种格式中，色度分量在水平方向和垂直方向的分辨率均是亮度分量的1/2。对于4：2：0采样格式还有一种是H.261、H.263和,MPEG——1中使用的格式，Cb和Cr样本位于4个对应的Y样本的中心。

参考：
《新一代高效视频编码H.265/HEVC：原理、标准与实现》