FFmpeg基础知识总结

1. 概述

从事多媒体技术研发工程师想必提到最多的开源工程即是ffmpeg，全称是Fast Forward MPEG，有很多视频相关的互联网公司都使用该开源程序，如Google、Facebook、Youtube、腾讯、优酷土豆、爱奇艺、暴风等等。但根据使用场景的不同，术语经常有不同的含义，极易造成沟通不一致。我对ffmpeg的理解是：首先它是一个多媒体处理的工具软件（exe可执行程序），其次它还是一套完整的、可供二次开发的多媒体处理的SDK/API（头文件、lib、dll），最后它还是源代码全部开源且可容纳多个其他各种开源协议的音视频开源工程多媒体框架。本文也由浅入深分三个阶段进行介绍，首先是ffmpeg工具集的使用，其次是ffmpeg SDK的开发心得与小程序举例，最后是源码分析以及与其他开源工程的接口分析。

2. ffmpeg工具集的使用

Windows官方下载的形式为”ffmpeg-版本号-win32-bin”, Linux可通过 apt-get下载

sudo add-apt-repository ppa:mc3man/trusty-media

sudo add-apt-repository ppa:kirillshkrogalev/ffmpeg-next

sudo apt-get update

sudo apt-get dist-upgrade

sudo apt-get install ffmpeg

bin文件夹下是ffmpeg的应用程序，具体包括

ffmpeg：是一个媒体处理的万能工具，可以转换音视频协议、容器，或对音视频流进行合并、分割，既能处理文件又能处理实时流，格式工厂、SRS等都是基于该程序所做；

ffprobe：是一个用来查看多媒体文件的信息的工具，media info是基于该程序所做

ffplay：是一个简单的播放器，使用ffmpeg 库解析和解码，通过SDL显示；

ffserver：是一个简单的流Server，仅在Linux下才能编译通过，支持RTP+RTSP/HTTP协议。

关于ffmpeg工具集的基本使用、编码参数和协议参数可参考如下四个文档：

(1). FFmpeg Documentatio

(2). FFplay Documentation

(3). FFprobe Documentation

(4). FFserver Documentation

这些工具集如果使用好之后，在外围用C++/Python等做一个ffmpeg进程的warpper，就可以直接构建面向应用的程序或服务了。

ffmpeg.exe对于我来说更多的当成一个瑞士军刀来使用，它可以将任意一种音视频的封装格式、协议转化成任意另外一种封装格式与协议，并在转化过程中对音视频原始数据上做一些处理

输入可以是文件、管道、网络流、采集的原始音视频流 -i参

输出可以是文件、网络流 没有参数（不需要-o参数）

传输内容的类型可以是单一视频、音频、数据、字幕、attachment等也可以是多种类型即它们的混合 -map来选择 2:3代表第3路输入文件中的第4个流，-vn/-an/-sn/-dn禁止某个流

由于ffplay可以直接采集摄像头，ffmpeg也可以进行显示，故两者一同来介绍。

例：

(1). ffmpeg解码+显示

 ffmpeg -re -i test.264 -pix_fmt yuv420p -f sdl 1.yuv  

(2). ffplay采集+显示

ffplay -f dshow -i video="Integrated Camera"  

2.1 基本命令

ffmpeg处理流程如下：

离不开如下库（SDK开发也会用到下面的库）

libavformat 封装格式

libavcodec 编码格式