1、FFmpeg库简介
avcodec:编解码(最重要的库)。
avformat:封装格式处理
avfilter:滤镜特效处理
avdevice:各种设备的输出输出
avutil:工具库(大部分库都需要这个库的支持)
postproc:后加工
swresample:音频采样数据格式转换
swscale:视频像素数据格式转换
我们可以看到这些库
2、FFmpeg解码的流程图
(1)视频解码的知识
01 纯净的视频解码流程
压缩编码数据->像素数据。
例如解码H.264,就是“H.264码流->YUV”。
02 一般的视频解码流程
▫ 视频码流一般存储在一定的封装格式(例如MP4、AVI等)中。封装
格式中通常还包含音频码流等内容。
▫ 对于封装格式中的视频,需要先从封装格式中提取中视频码流,然
后再进行解码。
▫ 例如解码MKV格式的视频文件,就是“MKV->H.264码流->YUV”。
本次讨论的是 第二种情况
(2)FFmpeg解码流程图
用到的函数简介:
av_register_all():注册所有组件
avformat_open_input():打开输入视频文件
avformat_find_stream_info():获取视频文件信息 比如:视频宽高 解码器类型
avcodec_find_decoder():查找解码器 比如:H264
avcodec_open2():打开解码器
av_read_frame():从输入文件读取一帧压缩数据,每调用一次读一帧的压缩数据H.264码流,AVPacket里装的是H.264
avcodec_decode_video2():解码一帧压缩数据 最核心的函数 生成的东西叫AVFrame,AVFrame里装的是YUV
avcodec_close():关闭解码器
avformat_close_input():关闭输入视频文件
3、FFmpeg解码的数据结构
ffmpeg解码过程中有如下这些结构体
AV的意思是 Audio和 video 。。。。
AVFormatContext
封装格式上下文结构体,也是统领全局的结构体,保存了视频文件封装
格式相关信息。
▫ AVInputFormat
每种封装格式(例如FLV, MKV, MP4, AVI)对应一个该结构体。
▫ AVStream
视频文件中每个视频(音频)流对应一个该结构体。
▫ AVCodecContext
编码器上下文结构体,保存了视频(音频)编解码相关信息。
▫ AVCodec
每种视频(音频)编解码器(例如H.264解码器)对应一个该结构体。
▫ AVPacket
存储一帧压缩编码数据。
▫ AVFrame
存储一帧解码后像素(采样)数据。
结构体里的参数分析:
AVFormatContext
iformat:输入视频的AVInputFormat
nb_streams :输入视频的AVStream 个数
streams :输入视频的AVStream []数组
duration :输入视频的时长(以微秒为单位)
bit_rate :输入视频的码率
-------------------------------------------------
AVInputFormat
name:封装格式名称
long_name:封装格式的长名称
extensions:封装格式的扩展名
id:封装格式ID
一些封装格式处理的接口函数
-------------------------------------------------
AVStream
id:序号
codec:该流对应的AVCodecContext
time_base:该流的时基
r_frame_rate:该流的帧率
--------------------------------------------------
AVCodecContext
codec:编解码器的AVCodec
width, height:图像的宽高(只针对视频)
pix_fmt:像素格式(只针对视频)
sample_rate:采样率(只针对音频)
channels:声道数(只针对音频)
sample_fmt:采样格式(只针对音频)
--------------------------------------------------
AVCodec
name:编解码器名称
long_name:编解码器长名称
type:编解码器类型
id:编解码器ID
一些编解码的接口函数
--------------------------------------------------
AVPacket
pts:显示时间戳
dts :解码时间戳
data :压缩编码数据
size :压缩编码数据大小
stream_index :所属的AVStream
--------------------------------------------------
AVFrame
data:解码后的图像像素数据(音频采样数据)
linesize:对视频来说是图像中一行像素的大小;对音频来说是整个音
频帧的大小
width, height:图像的宽高(只针对视频)
key_frame:是否为关键帧(只针对视频)
pict_type:帧类型(只针对视频) 例如I,P,B。