音视频开发学习(二) -- 视频图片相关基础

什么是视频

简单来说，视频就是一帧一帧连续的图片。所以我们做视频处理，本质上来说就是处理的一帧帧图片。所以本博文的名字命名为: 视频 图片 相关基础. 下面就是照本宣科，说一些基本的概念，便于后面研究处理用。

怎么获取的图像

既然，视频的本质就是一帧帧连续的图像，那么我们怎么获取到的图像呢？

先说两个概念:

连续图像(模拟图像)

二维坐标系中具有连续变化的，即图像画面的像点是无限稠密的，同时其灰度值(即图像从暗到亮的变化值)也是无限稠密的图像，称为连续图像。

离散图像(数字图像)

是指用一个数字阵列表示的图像，该阵列中每一个元素称为像素， 我们做音视频开发中处理的图像就是数字图像。

像素

组成数字图像的基本元素.

数字图像可以认为是按某种规律(如模拟/数字转换)编成一系列二进制数码(0和1)来表示图像上每个点的信息。
获取图像就是将连续图像转换为数字图像，即图像的数字化。

图像的数字化包括扫描、采样、量化。
采样 – 成像技术。
量化 – 模数转换技术。

采样

图像空间连续坐标的离散化，决定图像的空间分辨率。

就是把一幅连续图像在空间上分割成 MxN 个网格，每个网格用一个亮度值来表示，一个网格称为一个像素。MxN 的取值满足采样定理。

在取样时，若横向的像素数（列数）为 M ，纵向的像素数（行数）为 N，则图像总像素数为 M*N 个像素。

一般来说，采样间隔越大，所得图像像素数越少，空间分辨率低，质量差，严重时出现马赛克效应；采样间隔越小，所得图像像素数越多，空间分辨率高，图像质量好，但数据量大。

不同采样间隔的图像如下：

关于图片获取原理就记录那么多，对于音视频开发应该足够了。想深入了解，可以参考下面的链接:
[^{1]https://wenku.baidu.com/view/011503d2360cba1aa811da69.html[}2]

量化

量化就是把采样点上对应的亮度连续变化区间转换为单个特定数码的过程。量化后，图像就被表示成一个整数矩阵。每个像素具有两个属性：位置和灰度。位置由行、列表示，灰度表示该像素位置上亮暗程度的整数。此数字矩阵 MxN 就作为计算机处理的对象了。灰度级一般表示为 (0 - 255)(8bit 量化)

量化等级越多，所得图像层次越丰富，灰度分辨率高，图像质量好，但数据量大；量化等级越少，图像层次欠丰富，灰度分辨率低，会出现假轮廓现象，图像质量变差，但数据量小。

不同量化等级获得图像如下：

量化等级: 2

量化等级：8

量化等级：64

后面三幅图像是从其他博客转来的，由于觉得这三幅图像更能反应不同量化等级的差别，所以就贴过来了，侵删

灰度分辨率

用于量化灰度的比特数，如256个灰度级，则灰度分辨率为8。

取样和量化原则

采样又可分为均匀采样和非均匀采样。
图像均匀采样量化——像素灰度值在黑白范围较均匀分布的图像。
图像非均匀采样量化——对图像中像素灰度值频繁出现的灰度值范围，量化间隔取小一些，而对那些像素灰度值极少出现的范围，则量化间隔取大一些。

很明显，数字图像的质量在很大程度上取决于取样和量化中所用的样本数和灰度级。一般，当限定数字图像的大小时, 为了得到质量较好的图像可采用如下原则：

1. 对缓变的图像， 应该细量化， 粗采样， 以避免假轮廓。
2. 对细节丰富的图像，应细采样，粗量化， 以避免模糊（混叠）。

数字图像的重采样(改变图像大小)

重采样分为 上采样(upsampling) – 放大图像 和 下采样(downsampling) – 缩小图像。

缩小图像

次级采样 (sub-sampling)

每隔一个，扔掉行和列，创建一个更小的图像。

下采样(downsampling)

根据Nyquist采样定律，采样频率大于等于2倍的图像的最大频率。

对于高清图片，如果直接采样，采样频率很高。
如果先对图像进行模糊化处理（高斯滤波），就可以降低采样频率了，
最后进行次级采样（sub-sampling），就可以得到小一倍的图片了。
总结：下采样=高斯滤波+次级采样

高斯金字塔（Gaussian pyramids）

在下采样过程中，所有模糊化处理之前的图片构成一个高斯金字塔。最底层为原图。

高斯金字塔实际上是图像的多尺度表示法。模仿人眼在近处看到的图像细致，对应金字塔底层；在远处看到图像较为模糊，但可以看到整个轮廓，对应金字塔顶层。

放大图像

创建新的像素位置，对新位置上的像素赋值。

最近邻插值

把原图中最近邻的灰度赋给每个新像素

优点：简单易行 速度快
缺点: 易产生块效应/马赛克效应

双线性插值

用四个最近邻位置上的灰度值估计给定位置的灰度值。
如下图，如果要对P点进行双线性插值，

具体计算步骤：

双线性插值：
优点：比最近邻插值效果好，没有明显的块效应。
缺点: 计算量比最近邻插值大，使图像细节退化。

双三次内插法

双三次插值（英语：Bicubic interpolation）是二维空间中最常用的插值方法。在这种方法中，函数f在点 (x,y) 的值可以通过矩形网格中最近的十六个采样点的加权平均得到，在这里需要使用两个多项式插值三次函数，每个方向使用一个。

基于BiCubic基函数的双三次插值法，BiCubic基函数形式如下：

对待插值的像素点(x,y)（x和y可以为浮点数），取其附近的4x4邻域点(xi,yj), i,j = 0,1,2,3。按如下公式进行插值计算：

其中x,y就是行和列的位置。

三种图像内插方法的比较：

[^{3]https://blog.csdn.net/weixin_45476502/article/details/108753733[}3]
[^{4]https://www.cnblogs.com/amarr/p/10565188.html[}4]

获取后的图像是怎么显示的

获取图像是将数字图像转换为连续图像，而将图像的显示则是通过插值的方式重新重构为连续图像(模拟图像)来显示。

结合采样的操作，音视频的处理过程: