ffmpeg源码精读1，音视频处理概述

一个视频包含封装+视频+音频。

简单来说，要处理一个视频分两步。

第一步是解封装（demux）

这一步能获取视频信息，如：编码器、帧率、pts起始值、时长、帧数、像素格式、音频采样格式、码率、宽高、色彩空间、色域、通道、采样率……
获取到了这些视频信息后，就能依据这些信息对视频数据包进行对应的解码操作。

第二步逐帧解码（decode）

通过循环读取视频数据包，根据编码器类型进行解码，会得到图像采样数据（YUV）或音频采样数据（PCM），后续再进行渲染或其他处理（如添加数据、保存等）。

一个简单的播放器，由上面两步组成。

在一些情况下，业务需求可能不仅仅只有播放的需求，下面的步骤根据需要可能会涉及：

重映射

图像处理，如360全景预览、畸变校正、添加水印等。

重采样

对图像降采样（模糊）、对音频降采样（失真）。

转码

编码成所需格式，如h265转h264、mp3转aac、yuv转换、音频44.1khz转48khz、调节码率、调节帧率等。

编码

将处理好的数据进行再次编码保存。