FFmpeg总结

根据雷神的博客与项目中用到的FFmpeg总结如下：

FFMPEG中结构体很多。最关键的结构体可以分成以下几类：

 

a)        解协议（http,rtsp,rtmp,mms）

 

AVIOContext，URLProtocol，URLContext主要存储视音频使用的协议的类型以及状态。URLProtocol存储输入视音频使用的封装格式。每种协议都对应一个URLProtocol结构。（注意：FFMPEG中文件也被当做一种协议“file”）

 

b)        解封装（flv,avi,rmvb,mp4）

 

AVFormatContext主要存储视音频封装格式中包含的信息；AVInputFormat存储输入视音频使用的封装格式。每种视音频封装格式都对应一个AVInputFormat 结构。

 

c)        解码（h264,mpeg2,aac,mp3）

 

每个AVStream存储一个视频/音频流的相关数据；每个AVStream对应一个AVCodecContext，存储该视频/音频流使用解码方式的相关数据；每个AVCodecContext中对应一个AVCodec，包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。

 

d) 存数据

 

视频的话，每个结构一般是存一帧；

 

解码前数据：AVPacket

 

解码后数据：AVFrame

 

 

 

他们之间的对应关系如下所示：

 

 

av_register_all进行编解码器注册，详见https://blog.csdn.net/leixiaohua1020/article/details/12677129

在初始化的时候调用；

 

 

音箱播放器FFmpeg支持根据url或文件进行解码播放；也支持根据数据流进行解码播放。两种方法稍微有些不同。

根据url或文件播放调用avformat_open_input,详见https://blog.csdn.net/leixiaohua1020/article/details/44064715

1. , 打开文件并对AVFormatContext ->pb（AVIOContext）进行赋值，, av_read_frame  中获取的AVPacket（压缩后的数据，需要解压缩成pcm）就是从此pb种读取的。调用avformat_find_stream_info ，该函数可以读取一部分视音频数据并且获得一些相关的信息(包含计算帧数等)，调用avcodec_send_packet、avcodec_receive_frame解码成AVFrame形式的（PCM数据,pcm是一种编码）。

 

(2)根据流数据进行播放调用需要指定AVFormatContext ->pb，指向哪个AVIOContext,avformat_open_input

 

 

一般一个AVPacket对应一个AVFrame,一个AVFrame数据大小根据文件格式（例如mp3、wav、pcm）都不同.AVFrame. nb_samples代表采样数目

 

如上图所示：每个AVFormatContext可能有多个AVStream,根据av_find_best_stream计算在哪个index。AVStream 中nb_frames

，codec_info_nb_frames标志着文件中包含几帧

 

Alsa播放音频：需要把一帧AVFrame pcm数据重采样成符和条件的 采样率、位率、采样数、声道数的数据  重采样比较耗时