第 2 章：FFmpeg简介

2.1 历史

历史
一些相关术语介绍：

• 容器（Container）格式：一种文件封装格式，里边主要包含了流，一般会使用一个特定的后缀名标识，例如.mov、.avi、.wav等。
• 流 （Stream）：在容器中存储音频（Audio）或者视频（Video）、字幕（Subtitle）等数据。
• 元数据（Metadata）：一般位于容器之中，告诉我们一些额外信息，一个常见的例子是MP3文件中的ID3 tag。
• 编解码器（Codec）：它实际上是enCOder与DECoder这两个词的混搭。大部分情况下我们指的是一种压缩标准，如我们所说的AVC/H.254、HEVC/H.265、VVC/H.266、AV1等。

2.2 FFmpeg的基本组成

  FFmpeg框架可以简单分为两层，上层是以ffmpeg、ffplay、ffprobe为代表的命令行工具；其底层支撑是一些基础库，包含AVFormat、AVCodec、AVFilter、AVDevices、AVUtils等模块库。细节结构如下图所示：

2.2.1 封装/解封装模块AVFormat

  AVFormat中实现了目前多媒体领域中绝大多数媒体封装格式和流媒体协议，包括封装(Muxer)和解封装(Demuxer)器, 包括如:

• MP4、FLV、MKV、TS等文件封装格式,
• RTMP、RTSP、MMS、HLS等网络协议。

  FFmpeg是否支持某种媒体封装格式,取决于编译时是否包含了该格式的封装库。根据实际需求,可进行媒体封装格式的扩展,增加自己定制的封装格式,即在AVFormat中增加自己的封装处理模块。

2.2.2 编/解码模块AVCodec

  AVCodec中实现了目前多媒体领域绝大多数常用的编解码格式,既支持编码,也支持解码。AVCodec除了以原生方式支持H.264、AAC、MJPEG等编解码格式之外,还支持第三方的编解码器,如:

• H.264(AVC)编码,需要使用x264编码器;
• H.265(HEVC)编码,需要使用x265编码器;
• MP3(mp3lame)编码,需要使用libmp3lame编码器

2.2.3 滤镜模块AVFilter

  AVFilter库提供了一个通用的音、视频、字幕等滤镜处理框架。在AVFilter中，滤镜框架可以有多个输入和输出。滤镜处理的例子如下图

  这个例子将输入的视频切割成两部分流，一部分流抛给crop与vflip滤镜处理模块，另一部分保持原样；当crop与vflip处理完后，将流合并到overlay图层中，并显示在最上一层，输出新视频。对应命令如下：

ffmpeg -i INPUT -vf "split [main][tmp]; [tmp] crop=iw:ih/2:0:00, vflip [flip]; [main] [flip] overlay=0:H/2" OUTPUT

处理前后如下：上半部分保留，上半部分同时做镜像运动到下边，合成后输出。

 下面简单说下滤镜的构成规则

• 相同滤镜的线性链用逗号分割
• 不同滤镜的线性链使用分号分隔

2.2.4 设备模块AVDevice

  AVDevice提供了一些常用的输入输出设备的处理框架。比如在macOS上和iOS上，一般使用AVFoundation调用底层的音视频及共享桌面输入。在Windows上，常用dshow作为音视频输入。在Linux上有更多选择，：音频输入输出设备有oss、alsa等，视频设备有opengl、video4linux2、x11grab等。sdl和sdl2是一个跨平台的输出设备的不同版本，在大多数平台都能用。

2.2.5 图像转换模块swscale

  swscale模块提供了底层的图像转换API接口，它允许进行图像缩放和像素格式转换，通常转换是有损的。

2.2.6 音频转换模块swresmaple

  swresample模块提供了音频重采样、格式转换、Rematrixing(改变通道布局)等

2.2.7 编解码工具ffmpeg

• 解封装，或称解复用
• 解码
• 编码
• 封装，或称复用

其中，整体处理的工作流程如下图所示。

2.2.8 播放器ffplay

ffmplay主要作为播放测试工具使用，也能显示音频的波形信息等。注意编译安装ffplay依赖于sdl。

2.2.9 多媒体分析器ffprobe

ffprobe是一个强大的多媒体分析工具，可以从媒体文件或者媒体流中获取音频格式，视频宽高，时长等信息。下一章具体讲。

2.3 不同平台的编译

建议谷歌

2.4 FFmpeg特性选择与定制

使用configure --help查看第三方外部库支持

./configure --list -encoders 查看编码器
./configure --list -decoders 查看解码器
./configure --list -muxers 查看封装支持
./configure --list -demuxers 查看解封装支持
./configure --list -protocols 查看通信协议