音视频--视频实时传输（一）

视频编解码流程概述

参考：https://blog.csdn.net/qq_42233059/article/details/134628085

视频编解码的目标是在保持高质量视频的前提下，减小视频数据的存储和传输开销。常用的视频编解码标准包括H.264/AVC、HEVC/H.265、VP9等。在视频编解码领域，H.264/AVC、HEVC/H.265和VP9是最常用的标准。这些标准通过采用先进的压缩算法和视频处理技术，实现了更高效的视频压缩和传输。

编码

H.264/AVC（Advanced Video Coding）
H.264/AVC是一种广泛使用的视频编码标准，具有较高的压缩效率和良好的视频质量。H.264/AVC的编码原理主要包括以下几个步骤：

• 运动估计：通过分析连续视频帧之间的运动信息，利用运动向量进行预测和补偿。
• 变换编码：将预测残差通过离散余弦变换（DCT）转换为频域表示。
• 量化：对变换系数进行量化，减小数据量。
• 熵编码：应用熵编码技术（如霍夫曼编码）对量化后的系数进行编码。

HEVC/H.265（High Efficiency Video Coding）
HEVC/H.265是一种更先进的视频编码标准，相较于H.264/H.264/AVC，在相同视频质量下能够实现更高的压缩比。HEVC/H.265的编码原理包括以下几个关键步骤：

• 运动估计：通过对视频帧之间的运动进行估计和补偿，减少冗余信息。
• 变换编码：使用更高阶的变换（如高效率互补变换）将预测残差转换为频域表示。
• 量化：对变换系数进行量化，减小数据量。
• 熵编码：应用熵编码技术（如上下文自适应二进制算术编码）对量化后的系数进行编码。

VP9
VP9是由Google开发的开放源代码视频编码格式，旨在提供与H.264/AVC和HEVC/H.265相媲美的压缩效率。VP9的编码原理与H.264/AVC和HEVC/H.265类似，但采用了一些独特的技术，如无参考帧和超大块等，以提高压缩效率。
视频编码的基本原理是利用视频信号的时空相关性进行压缩。具体过程包括以下几个步骤：

• 采样：将连续的模拟视频信号转换为离散的数字信号，即进行采样操作。视频信号由一系列连续的图像帧组成。
• 预处理：对采样后的视频进行预处理，包括去噪、滤波、颜色空间转换等操作，以提高编码效果。
• 压缩编码：对预处理后的视频进行压缩编码。视频编码方法包括运动估计、变换编码、熵编码等。
• 打包：将编码后的视频数据组织为数据包，便于传输和存储。

解码

视频解码的过程包括解包、解码、反预处理和重构等步骤。解码后的视频信号可以进行播放或进一步处理，下面是视频解码的主要步骤和原理。

• 解包（Demultiplexing）：与音频解码类似，视频解码器首先需要对编码后的视频数据进行解包。视频数据通常以帧为单位进行编码，并与其他相关信息（如帧率、分辨率、编码参数等）一起打包在一起。解包阶段的任务是从数据流中提取出视频数据和相关信息。

• 解码（Decoding）：解码是视频解码的核心步骤。在这一步骤中，视频编码器使用特定的解码算法将压缩的视频数据转换回原始的图像序列。解码算法根据编码过程中使用的压缩算法和编码参数，对压缩后的数据进行逆操作，还原出原始的频域或时域表示。

• 运动补偿（Motion Compensation）：运动补偿是视频解码中的重要步骤，用于减少运动信息的冗余。在编码过程中，运动估计技术用于分析连续视频帧之间的运动信息，并生成运动向量。在解码过程中，通过将当前帧与参考帧进行运动补偿，将运动向量应用于当前帧的像素，从而减小编码后的数据量。

• 变换解码（Transform Decoding）：在编码过程中，视频信号的频域或时域表示经过了变换编码（如离散余弦变换）操作。在解码阶段，需要对变换编码后的数据进行解码操作，将频域或时域表示转换为原始的图像块。

• 反量化（Dequantization）：与音频解码类似，视频解码中也会进行反量化操作。在编码过程中，视频数据的变换系数经过量化操作，将连续的数值转换为离散的数值。在解码阶段，需要对量化后的数据进行反量化操作，将离散的数据恢复为连续的近似值。

• 重构（Reconstruction）：重构是将解码和反量化后的数据转换为原始视频图像的过程。根据视频编码的特性和算法，重构阶段可能涉及插值、滤波和合成等操作。这些操作的目标是将解码后的数据转换为与原始图像尽可能接近的图像序列。

• 显示和渲染（Display and Rendering）：解码和重构后的视频数据仍然是数字形式的，需要进行显示和渲染，以将其呈现在屏幕上。这包括将视频图像序列进行缓冲和处理，应用色彩空间转换、图像增强和渲染算法，最终将图像显示在屏幕上供观看。

通过以上步骤，视频解码器能够逆向操作，从压缩的视频数据中还原出高质量的视频图像序列。解码的过程需要根据所采用的视频编码标准和算法进行相应的解析和计算，以确保解码后的视频质量和准确性。