音视频开发学习--04ffmpeg库函数的简介及解码流程详解

1、FFmpeg库简介

avcodec:编解码（最重要的库）。
avformat:封装格式处理
avfilter：滤镜特效处理
avdevice:各种设备的输出输出
avutil:工具库（大部分库都需要这个库的支持）
postproc:后加工
swresample:音频采样数据格式转换
swscale:视频像素数据格式转换

我们可以看到这些库

2、FFmpeg解码的流程图

(1)视频解码的知识

01 纯净的视频解码流程

压缩编码数据->像素数据。
例如解码H.264，就是“H.264码流->YUV”。

02 一般的视频解码流程

▫ 视频码流一般存储在一定的封装格式（例如MP4、AVI等）中。封装
格式中通常还包含音频码流等内容。
▫ 对于封装格式中的视频，需要先从封装格式中提取中视频码流，然
后再进行解码。
▫ 例如解码MKV格式的视频文件，就是“MKV->H.264码流->YUV”。

本次讨论的是 第二种情况

（2）FFmpeg解码流程图

 用到的函数简介：

av_register_all():注册所有组件 

avformat_open_input()：打开输入视频文件

avformat_find_stream_info():获取视频文件信息 比如：视频宽高 解码器类型

avcodec_find_decoder():查找解码器 比如：H264

avcodec_open2():打开解码器     

av_read_frame():从输入文件读取一帧压缩数据,每调用一次读一帧的压缩数据H.264码流,AVPacket里装的是H.264

avcodec_decode_video2():解码一帧压缩数据   最核心的函数 生成的东西叫AVFrame,AVFrame里装的是YUV

avcodec_close():关闭解码器

avformat_close_input()：关闭输入视频文件

3、FFmpeg解码的数据结构

ffmpeg解码过程中有如下这些结构体

 AV的意思是  Audio和 video 。。。。

AVFormatContext
 封装格式上下文结构体，也是统领全局的结构体，保存了视频文件封装
格式相关信息。
▫ AVInputFormat
 每种封装格式（例如FLV, MKV, MP4, AVI）对应一个该结构体。
▫ AVStream
 视频文件中每个视频（音频）流对应一个该结构体。
▫ AVCodecContext
 编码器上下文结构体，保存了视频（音频）编解码相关信息。
▫ AVCodec
 每种视频（音频）编解码器(例如H.264解码器)对应一个该结构体。
▫ AVPacket
 存储一帧压缩编码数据。
▫ AVFrame
 存储一帧解码后像素（采样）数据。

结构体里的参数分析：

AVFormatContext
 
iformat：输入视频的AVInputFormat
nb_streams ：输入视频的AVStream 个数
streams ：输入视频的AVStream []数组
duration ：输入视频的时长（以微秒为单位）
bit_rate ：输入视频的码率
-------------------------------------------------
AVInputFormat

name：封装格式名称
long_name：封装格式的长名称
extensions：封装格式的扩展名
id：封装格式ID
一些封装格式处理的接口函数
-------------------------------------------------
AVStream

id：序号
codec：该流对应的AVCodecContext
time_base：该流的时基
r_frame_rate：该流的帧率
--------------------------------------------------
AVCodecContext

codec：编解码器的AVCodec
width, height：图像的宽高（只针对视频）
pix_fmt：像素格式（只针对视频）
sample_rate：采样率（只针对音频）
channels：声道数（只针对音频）
sample_fmt：采样格式（只针对音频）
--------------------------------------------------
AVCodec

name：编解码器名称
long_name：编解码器长名称
type：编解码器类型
id：编解码器ID
一些编解码的接口函数
--------------------------------------------------
AVPacket

pts：显示时间戳
dts ：解码时间戳
data ：压缩编码数据
size ：压缩编码数据大小
stream_index ：所属的AVStream
--------------------------------------------------
AVFrame

data：解码后的图像像素数据（音频采样数据）
linesize：对视频来说是图像中一行像素的大小；对音频来说是整个音
频帧的大小
width, height：图像的宽高（只针对视频）
key_frame：是否为关键帧（只针对视频） 
pict_type：帧类型（只针对视频） 例如I，P，B。