视频处理和播放-“容器格式“（“封装格式“或“容器“）

本文链接：https://blog.csdn.net/qq_43298381/article/details/142169749

RAW 与常见的容器格式

在视频处理和播放领域，“容器格式”（也称为"封装格式"或"容器"）是指一种文件格式，它将已经编码的视频、音频和有时字幕等数据流封装进一个文件中。容器格式不仅保存了媒体数据，还包含了这些数据的元信息（如时间戳、轨道信息、编解码器类型等），以及可能的多个数据流。

常见的容器格式包括：

MP4（MPEG-4 Part 14，文件扩展名为 .mp4 或 .m4v）
AVI（Audio Video Interleave，文件扩展名为 .avi）
MKV（Matroska Video，文件扩展名为 .mkv）
MOV（QuickTime Movie，文件扩展名为 .mov）
FLV（Flash Video，文件扩展名为 .flv）
WMV（Windows Media Video，文件扩展名为 .wmv）

当提到数据没有封装在任何容器格式中时，意味着视频数据是以其原始的、未加工的形式存在，没有被打包成上述任何一种文件格式。原始视频数据（raw video data）通常仅包含实际的像素数据，没有任何额外的头信息或封装信息。

例如，一个原始的 RGB 视频文件可能只包含按顺序排列的像素颜色值，而没有文件头、索引、元数据或其他在标准视频文件中常见的结构。这种类型的数据通常用于测试、视频处理的中间步骤或特定应用，因为它没有额外的封装开销，但同时也缺乏灵活性和兼容性。

在使用 ffplay 或其他工具播放原始视频数据时，用户需要手动指定视频的分辨率、像素格式和其他参数，因为这些信息不包含在文件中。这就是为什么在使用 -f rawvideo 参数时，还需要指定 -s（分辨率）和 -pix_fmt（像素格式）等参数的原因。

ffplay -f rawvideo -s 1920x1080 -pix_fmt rgb24 output_rgb_test.raw

不同封装格式介绍（适用）

不同封装格式在视频压缩效率上的差异主要取决于它们支持的编码标准和设计目的。例如：

MP4：这是一种非常流行的容器格式，广泛用于网络流和移动设备。MP4通常与H.264编码标准结合使用，后者提供了很好的压缩效率和视频质量，适合在线视频和移动媒体。
AVI：这是一种较早的容器格式，它支持多种编码器，但通常不提供与现代压缩标准相当的压缩效率。AVI文件往往比其他格式大，因为它没有采用最新的压缩技术。
MKV（Matroska Video）：MKV是一个开放源代码的容器格式，它设计用于容纳多种不同编码的视频、音频和字幕流。MKV文件可以包含高比特率的视频流，适合存储高清视频。
MOV：由苹果公司开发，通常与Apple ProRes或H.264编码器一起使用。MOV文件在视频编辑和广播中广泛使用，提供良好的压缩效率和质量。
FLV（Flash Video）：最初为Adobe Flash Player设计，适用于在线流媒体。FLV文件通常较小，适合网络传输，但可能不如MP4等其他格式清晰。
WMV（Windows Media Video）：微软开发的容器格式，与Windows Media Video编码器一起使用。它适用于流媒体和视频点播，但在现代应用中不如MP4流行。
WebM：由Google支持的开源容器格式，通常与VP8或VP9编码器一起使用。WebM旨在提供网络友好的视频压缩，适合HTML5视频播放。
OGG：另一种开源容器格式，与Vorbis或Theora编码器一起使用，适合音频和视频的流媒体播放。

每种封装格式都有其特定的用途和优化目标，选择哪种格式通常取决于视频的使用场景、所需的兼容性、压缩效率和编码器的支持。例如，对于在线视频，可能会优先选择MP4或WebM，因为它们提供了良好的压缩效率和广泛的浏览器支持。而对于存储高清视频，MKV可能是一个更好的选择，因为它可以容纳高比特率的视频流和多个音轨。

编码标准

视频编码标准是用来压缩和解压数字视频的一系列技术规范，它们定义了视频数据的组织方式、压缩方法和解码过程。以下是一些常见的视频编码标准：

H.261：由国际电信联盟（ITU-T）制定，是最早的数字视频压缩标准之一，主要用于视频会议。
MPEG-1：由运动图像专家组（MPEG）制定，广泛应用于VCD和MP3音频。
H.262/MPEG-2：H.262是ITU-T的标准，而MPEG-2是MPEG的标准，两者相同，广泛应用于DVD视频、广播和一些高清视频应用。
H.264/AVC (Advanced Video Coding)：是目前最流行的视频编码标准之一，以其高压缩效率和良好的视频质量广泛用于视频会议、流媒体和高清视频。
HEVC/H.265：是H.264的后继者，提供更高的压缩效率，用于4K和8K视频流。
VP8/VP9：由Google开发，是开放源代码的编码标准，VP9是VP8的后继者，提供与HEVC相当的压缩效率。
AV1：由开放媒体联盟（AOM）开发，是一个开源的编码标准，旨在提供比HEVC更高的压缩效率，同时避免专利许可费用。
AVS (Audio Video coding Standard)：是中国自主制定的音视频编码标准，最新版本AVS3旨在提供与AV1和HEVC相当的压缩效率。
H.266/VVC (Versatile Video Coding)：是最新的视频编码标准，旨在提供比HEVC更高的压缩效率，支持8K视频。
AVS3：是中国最新的视频编码标准，支持8K视频，具有高压缩效率和良好的视频质量。

这些编码标准各有特点，选择哪种标准通常取决于视频的使用场景、所需的压缩效率、兼容性和成本。随着技术的发展，新的编码标准不断涌现，以提供更好的压缩效率和视频质量。

一些解答

H.264/AVC 和 H.265/HEVC 在压缩效率上有什么具体的差异？

H.264/AVC 和 H.265/HEVC 是两种广泛使用的视频编码标准，它们在压缩效率上有一些显著的差异：

压缩效率：H.265/HEVC 被设计为比 H.264/AVC 更高效的压缩标准。HEVC 能够在保持相同视频质量的情况下，将文件大小压缩到大约 H.264/AVC 的一半左右。这意味着对于同等质量的视频，使用 HEVC 编码的视频需要的存储空间更少，传输所需的带宽也更少。这种改进对于 4K 视频和高分辨率视频内容尤其重要。
分辨率处理：H.264/AVC 可以处理高达 8K UHD 的分辨率，但 H.265/HEVC 在处理更高分辨率视频方面更为出色，能够更平滑地处理 4K 和 8K UHD 视频，即使在网络资源受限的情况下也是如此。
复杂性和成本：由于 H.265/HEVC 提供了更高级的压缩能力，它在编码过程中自然需要更多的计算能力。此外，与 H.264/AVC 相比，H.265/HEVC 的许可成本和版税可能更高，这是在大规模应用时需要考虑的因素。
硬件支持：H.264/AVC 由于其较早的推出时间，因此在硬件和软件支持方面更为广泛。而 H.265/HEVC 虽然在新设备上得到了支持，但老设备可能无法解码或不支持这种格式。
技术改进：H.265/HEVC 引入了编码树单元（CTUs）的概念，这些单元可以处理高达 64x64 像素的块，而 H.264/AVC 使用的宏块（MB）通常为 16x16 像素。这种更大的处理单元是 HEVC 提高压缩效率的关键因素之一。
解码性能：在较新的硬件上，HEVC 的解码性能可能比 AVC 高出很多。例如，某些 NVIDIA GPU 在 HEVC 上的解码性能是 AVC 的 1.5 倍以上。

总的来说，H.265/HEVC 在压缩效率、分辨率处理和解码性能方面相比 H.264/AVC 有明显优势，但这些优势也伴随着更高的计算复杂性和可能的成本增加。选择哪种编码标准取决于您的具体需求，包括视频质量、文件大小、带宽限制、硬件支持和成本考虑。

在视频编码标准选择上，除了压缩效率，还应该考虑哪些因素？

在选择视频编码标准时，除了压缩效率，还应该考虑以下因素：

硬件支持：不同的编码标准对硬件的支持程度不同。例如，H.264/AVC 广泛支持硬件加速，这可以提高编码和解码的速度，减少对CPU的依赖。
编码复杂性：新的编码标准如H.265/HEVC虽然提供了更高的压缩效率，但编码过程更加复杂，需要更多的计算资源。例如，H.264/AVC 的解码器复杂度是 MPEG-2 的 4 倍，是 MPEG-4 的 2 倍。
成本：一些编码标准可能涉及专利许可费用。例如，AVC 是一种专有格式，其技术的众多专利由多方拥有，商业使用需要许可证。
兼容性：考虑目标播放设备或平台是否支持所选编码标准。例如，VP9 是完全开放且免版税的，被浏览器广泛支持，并且编解码器的硬件实现相当普遍。
视频质量：在相同的比特率下，不同的编码标准可能会产生不同的视频质量。通常，新的编码标准能够在保持相同视频质量的同时提供更高的压缩率。
延迟：对于实时视频通信应用，如视频会议，低延迟是一个重要因素。一些编码标准可能在保持低延迟方面表现更好。
错误恢复能力：网络传输中可能会遇到数据包丢失的情况，选择具有良好错误恢复能力的编码标准可以提高视频的观看体验。
色彩和分辨率支持：不同的编码标准对色彩空间和分辨率的支持程度不同。例如，HEVC 支持包括 8K 视频在内的超高分辨率视频。
流媒体和存储需求：考虑视频的分发方式，是否需要适应不同的网络条件或存储介质。
未来证明：选择一个有良好发展前景的编码标准，可以确保视频内容在未来一段时间内仍然可用且兼容。