音视频相关基础知识与FFmpeg介绍

最新推荐文章于 2023-12-04 15:51:04 发布

vivianluomin

最新推荐文章于 2023-12-04 15:51:04 发布

阅读量368

点赞数

分类专栏：音视频

8 篇文章 2 订阅

订阅专栏

下图是一个最简单的视频播放的过程（不包括视频加密等等过程）：
在这里插入图片描述

这是一个视频播放的最基本的原理流程图，从这个图可以很整体的看到视频处理的一些主要步骤。

注意：我们利用FFmpeg进行编程的时候几乎就是基于这个流程图来进行的。比如说，编程的时候我们会按到编码器，解码读取数据，绘制到屏幕上的时候可能还需要把YUV数据转换为RGB等。

我们常见的封装视频的格式有：flv（音视频分开），mp4，avi等等。

因为摄像头采集到的画面，以及麦克风采集到的音频数据是经过压缩的处理，不然视频文件就会很大。
也就是说：

封装格式的作用是：视频码率和音频码率按照一定的格式存储在一个文件中/

封装格式分析工具：Elecard Format Analyzer

常见的视频封装格式：
在这里插入图片描述
以两个格子为例子，介绍一下原理：

在这里插入图片描述

MEPG2-TS格式是由一个一个数据大小固定的TS-Packet组成，因此可以支持快进。
FLY格式由FLV HEADER以及一个一个大小不固定的TAG组成。因为FLV格式直接能够用flash播放，因此常用于视频直播领域。我们在做RTMP推流的时候，一开始就需要发送头信息。因为数据单元大小不固定，因此原生的视频播放器不支持FLV视频的快进（有些播放器进行了处理可以快进）。

在这里插入图片描述

原理分析：
在这里插入图片描述
以H.264为例，H.264是由大小不固定的NALU构成。（NALU实质是一种数据结构）。
H.264里面有很多子压缩算法，原理比较复杂，包括了熵解码，环路滤波，帧内检测，帧间检测等知识。H.264编码原理比较复杂，因此H.264的压缩效率是几百到几千倍。

视频解码（摄像机获取）得到的是视频像素数据，保存了屏幕上每个像素点的像素值。
常见的像素数据格式有RGB24、RGB32，YUV420P、YUV422P。YUV444P等。压缩编码中一般使用的是YUV格式的像素数据，最为常见的格式未YUV420P。

在这里插入图片描述
RGB也有很多种，比如RGB24，不同的RGB编码色彩丰富度不同。

在这里插入图片描述

常见的音频格式有：AAC、MP3。
音频编码得到的是音频采样数据，然后喇叭才能播放。常见格式是PCM，实质上一个一个采样值。都拿我时间内震动的数据，包括振幅和频率。常用采样率44100，人耳能够察觉的最高采样率。

在这里插入图片描述
在做视频直播的时候：音频常用AAC进行编码，用FAAC库进行处理；视频用H.264编码。

在这里插入图片描述
音频采样数据PCM：保存了音频中每个采样点的值，音频采样数据体积很大，一般需要进行压缩，我们常说的“无损”实质上是没有损失的压缩。

在这里插入图片描述
相关播放（编辑）工具

FFmpeg的八个函数库：

关注