ffmpeg必备知识点

为了方便学习，用别人的资料对ffmpeg做下整理，参考的资料在文末贴出。
资料主要参考雷神。

为了对视频文件有一个初步认识，首先来看对一个MP4文件的简单分析，如图。

看图我们知道，每个视频文件都会有特定的封装格式、比特率、时长等信息。视频解复用之后，就划分为video_stream和audio_stream，分别对应视频流和音频流。

解复用之后的音视频有自己独立的参数，视频参数包括编码方式、采样率、画面大小等，音频参数包括采样率、编码方式和声道数等。

对解复用之后的音频和视频Packet进行解码之后，就变成**原始的音频（PWM）和视频（YUV/RGB）**数据，获得这些原始数据之后才可以在进行显示和播放。

视频协议：

视频播放器原理

视音频技术主要包含以下几点：封装技术，视频压缩编码技术以及音频压缩编码技术。如果考虑到网络传输的话，还包括流媒体协议技术（即播放网络视频就是解析流媒体）。

视频播放器播放一个互联网上的视频文件，需要经过以下几个步骤：解协议，解封装，解码视音频，视音频同步。如果播放本地文件则不需要解协议，为以下几个步骤：解封装，解码视音频，视音频同步。他们的过程如图所示。

解协议的作用，就是将流媒体协议的数据，解析为标准的相应的封装格式数据。视音频在网络上传播的时候，常常采用各种流媒体协议，例如HTTP，RTMP，或是MMS等等。这些协议在传输视音频数据的同时，也会传输一些信令数据。这些信令数据包括对播放的控制（播放，暂停，停止），或者对网络状态的描述等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如，采用RTMP协议传输的数据，经过解协议操作后，输出FLV格式的数据。

解封装的作用，就是将输入的封装格式的数据，分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多，例如MP4，MKV，RMVB，TS，FLV，AVI等等，它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如，FLV格式的数据，经过解封装操作后，输出H.264编码的视频码流和AAC编码的音频码流。

解码的作用，就是将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含AAC，MP3，AC-3等等，视频的压缩编码标准则包含H.264，MPEG2，VC-1等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码，压缩编码的视频数据输出成为非压缩的颜色数据，例如YUV420P，RGB等等；压缩编码的音频数据输出成为非压缩的音频抽样数据，例如PCM数据。

视音频同步的作用，就是根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。

ffmpeg项目组成

 libavcodec：用于各种类型声音/图像编解码；
    
libavutil：包含一些公共的工具函数；

libavformat：包含多种多媒体容器格式的封装、解封装工具

libswscale：用于视频场景比例缩放、色彩映射转换；

libpostproc：用于后期效果处理；

libavdevice：用于音视频数据采集和渲染等功能的设备相关

ibswresample：用于音频重采样和格式转换等功能

libavfilter：包含多媒体处理常用的滤镜功能

FFMPEG中最关键的结构体之间的关系

FFMPEG结构体分析：AVFrame

AVFormatContext是包含码流参数较多的结构体，很多函数都要用到它作为参数。

下面看下AVFormatContext结构体主要成员的作用:
struct AVInputFormat *iformat：输入数据的封装格式
AVIOContext *pb：输入数据的缓存
unsigned int nb_streams：视音频流的个数
AVStream **streams：视音频流
char filename[1024]：文件名
int64_t duration：时长（单位：微秒us，转换为秒需要除以1000000）
int bit_rate：比特率（单位bps，转换为kbps需要除以1000）
AVDictionary *metadata：元数据

FFMPEG结构体分析：AVFormatContext
FFMPEG结构体分析：AVCodecContext
FFMPEG结构体分析：AVIOContext
FFMPEG结构体分析：AVCodec
FFMPEG结构体分析：AVStream
FFMPEG结构体分析：AVPacket

FFMPEG中结构体很多。最关键的结构体可以分成以下几类：

a)        解协议（http,rtsp,rtmp,mms）

AVIOContext，URLProtocol，URLContext主要存储视音频使用的协议的类型以及状态。URLProtocol存储输入视音频使用的封装格式。每种协议都对应一个URLProtocol结构。（注意：FFMPEG中文件也被当做一种协议“file”）

b)        解封装（flv,avi,rmvb,mp4）

AVFormatContext主要存储视音频封装格式中包含的信息；AVInputFormat存储输入视音频使用的封装格式。每种视音频封装格式都对应一个AVInputFormat 结构。

c)        解码（h264,mpeg2,aac,mp3）

每个AVStream存储一个视频/音频流的相关数据；每个AVStream对应一个AVCodecContext，存储该视频/音频流使用解码方式的相关数据；每个AVCodecContext中对应一个AVCodec，包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。

d) 存数据

视频的话，每个结构一般是存一帧；音频可能有好几帧

解码前数据：AVPacket

解码后数据：AVFrame

ffmpeg命令集

1.获取视频的信息 
ffmpeg -i video.avi

2.将图片序列合成视频 
ffmpeg -f image2 -i image%d.jpg video.mpg 
上面的命令会把当前目录下的图片（名字如：image1.jpg. image2.jpg. 等…）合并成video.mpg

3.将视频分解成图片序列 
ffmpeg -i video.mpg image%d.jpg 
上面的命令会生成image1.jpg. image2.jpg. … 
支持的图片格式有：PGM. PPM. PAM. PGMYUV. JPEG. GIF. PNG. TIFF. SGI

4.为视频重新编码以适合在iPod/iPhone上播放 
ffmpeg -i source_video.avi input -acodec aac -ab 128kb -vcodec mpeg4 -b 1200kb -mbd 2 -flags +4mv+trell -aic 2 -cmp 2 -subcmp 2 -s 320x180 -title X final_video.mp4 
说明： 
* 源视频：source_video.avi 
* 音频编码：aac 
* 音频位率：128kb/s 
* 视频编码：mpeg4 
* 视频位率：1200kb/s 
* 视频尺寸：320 X 180 
* 生成的视频：final_video.mp4

5.为视频重新编码以适合在PSP上播放 
ffmpeg -i source_video.avi -b 300 -s 320x240 -vcodec xvid -ab 32 -ar 24000 -acodec aac final_video.mp4 
说明： 
* 源视频：source_video.avi 
* 音频编码：aac 
* 音频位率：32kb/s 
* 视频编码：xvid 
* 视频位率：1200kb/s 
* 视频尺寸：320 X 180 
* 生成的视频：final_video.mp4

6.从视频抽出声音.并存为Mp3 
ffmpeg -i source_video.avi -vn -ar 44100 -ac 2 -ab 192 -f mp3 sound.mp3 
说明： 
* 源视频：source_video.avi 
* 音频位率：192kb/s 
* 输出格式：mp3 
* 生成的声音：sound.mp3

7.将wav文件转成Mp3 
ffmpeg -i son_origine.avi -vn -ar 44100 -ac 2 -ab 192 -f mp3 son_final.mp3

8.将.avi视频转成.mpg 
ffmpeg -i video_origine.avi video_finale.mpg

9.将.mpg转成.avi 
ffmpeg -i video_origine.mpg video_finale.avi

10.将.avi转成gif动画（未压缩） 
ffmpeg -i video_origine.avi gif_anime.gif

11.合成视频和音频 
ffmpeg -i son.wav -i video_origine.avi video_finale.mpg

12.将.avi转成.flv 
ffmpeg -i video_origine.avi -ab 56 -ar 44100 -b 200 -r 15 -s 320x240 -f flv video_finale.flv

13.将.avi转成dv 
ffmpeg -i video_origine.avi -s pal -r pal -aspect 4:3 -ar 48000 -ac 2 video_finale.dv 
或者： 
ffmpeg -i video_origine.avi -target pal-dv video_finale.dv

14.将.avi压缩成divx 
ffmpeg -i video_origine.avi -s 320x240 -vcodec msmpeg4v2 video_finale.avi

15.将Ogg Theora压缩成Mpeg dvd 
ffmpeg -i film_sortie_cinelerra.ogm -s 720x576 -vcodec mpeg2video -acodec mp3 film_terminate.mpg

16.将.avi压缩成SVCD mpeg2 
NTSC格式： 
ffmpeg -i video_origine.avi -target ntsc-svcd video_finale.mpg 
PAL格式： 
ffmpeg -i video_origine.avi -target pal-svcd video_finale.mpg

17.将.avi压缩成VCD mpeg2 
NTSC格式： 
ffmpeg -i video_origine.avi -target ntsc-vcd video_finale.mpg 
PAL格式： 
ffmpeg -i video_origine.avi -target pal-vcd video_finale.mpg

18.多通道编码 
ffmpeg -i fichierentree -pass 2 -passlogfile ffmpeg2pass fichiersortie-2

19.从flv提取mp3 
ffmpeg -i source.flv -ab 128k dest.mp3

fmpeg的官方网站：http://ffmpeg.org/
转载博文来自：

视音频数据处理入门：RGB、YUV像素数据处理
视音频编解码技术零基础学习方法
https://blog.csdn.net/king1425/article/details/70348374