音视频篇 - FFmpeg 的介绍和使用

1. FFmpeg 的介绍

若要讲解音视频的开发，首先不得不提开源框架 FFmpeg。该开源框架为音视频开发者们提供了非常大的帮助，其也是全世界的音视频开发工程师都应该掌握的工具。

FFmpeg 是一套可以用来记录、处理数字音频、视频，并将其转换为流的开源框架，提供了录制、转换以及流化音视频的完整解决方案。

它的可移植性或者说跨平台特性非常强大，可以用在 Linux 服务器、PC (包括 Windows、Mac OS X 等)、移动端设备 (Android、iOS 等移动设备) 等平台。

名称中的 mpeg 来自视频编码标准 MPEG，而前缀 FF 是 Fast Forward 的首字母缩写。本章会从编译开始讲解，然后介绍命令行工具的使用，接着会介绍 FFmpeg 在代码层面提供给开发者的 API，最后会从源码的角度分析一下整个 FFmpeg 框架。

2. FFmpeg Android 编译库

FFmpeg github 上已经有现成编译好的 android 库：https://github.com/xufuji456/FFmpegAndroid，简介如下：

android 端基于 FFmpeg 库的使用，添加编译 ffmpeg、shine、mp3lame、x264 源码的参考脚本，目前音视频相关处理：

音频剪切、拼接

音频混音

音频转码

音视频合成

音频抽取

音频解码播放

音频编码

视频抽取

视频剪切

视频转码

视频截图

视频降噪

视频抽帧

视频转 GIF 动图

视频添加水印

视频画面拼接

视频反序倒播

视频画中画

图片合成视频

视频解码播放

本地直播推流

实时直播推流

音视频解码播放

FFmpeg 的 AVFilter 滤镜

使用 mp3lame 库进行 mp3 转码

视频拖动实时预览

moov 往前移动

ffprobe 检测多媒体格式

IjkPlayer 的 RTSP 超低延时直播

3. FFmpeg 的结构

默认的编译会生成 4 个可执行文件和 8 个静态库。可执行文件包括用于转码、推流、Dump 媒体文件的 ffmpeg、用于播放媒体文件的ffplay、用于获取媒体文件信息的 ffprobe，以及作为简单流媒体服务器的 ffserver。8 个静态库其实就是 FFmpeg 的 8 个模块，具体包括如下内容：

AVUtil：核心工具库，该模块是最基础的模块之一，下面的许多其他模块都会依赖该库做一些基本的音视频处理操作。

AVFormat：文件格式和协议库，该模块是最重要的模块之一，封装了 Protocol 层和 Demuxer、Muxer 层，使得协议和格式对于开发者来说是透明的。

AVCodec：编解码库，该模块也是最重要的模块之一，封装了 Codec 层，但是有一些 Codec 是具备自己的 License 的，FFmpeg 是不会默认添加像 libx264、FDK-AAC、lame 等库的，但是 FFmpeg 就像一个平台一样，可以将其他的第三方的 Codec 以插件的方式添加进来，然后为开发者提供统一的接口。

AVFilter：音视频滤镜库，该模块提供了包括音频特效和视频特效的处理，在使用 FFmpeg 的 API 进行编解码的过程中，直接使用该模块为音视频数据做特效处理是非常方便同时也非常高效的一种方式。