FFmpeg 编程之视频解码

• 纯净的视频解码流程
    压缩编码数据->像素数据。
    例如解码H.264， 就是“H.264码流->YUV”。
• 一般的视频解码流程
    视频码流一般存储在一定的封装格式（例如MP4、 AVI等）中。封装格式中通常还包含音频码流等内容。
    对于封装格式中的视频，需要先从封装格式中提取中视频码流，然后再进行解码。
    例如解码MKV格式的视频文件，就是“MKV->H.264码流->YUV”。
• FFmpeg库简介
    FFmpeg一共包含8个库：
    avcodec：编解码（最重要的库）。
    avformat：封装格式处理。
    avfilter：滤镜特效处理。
    avdevice：各种设备的输入输出。
    avutil：工具库（大部分库都需要这个库的支持）。
    postproc：后加工。
    swresample：音频采样数据格式转换。
    swscale：视频像素数据格式转换。

• FFmpeg解码的流程图如下所示（牢记）——参考https://www.cnblogs.com/CoderTian/p/6791638.html

av_register_all()：注册所有组件。            
avformat_open_input()：打开输入视频文件。    
avformat_find_stream_info()：获取视频文件信息
avcodec_find_decoder()：查找解码器。         
avcodec_open2()：打开解码器。                
av_read_frame()：从输入文件读取一帧压缩数据。
avcodec_decode_video2()：解码一帧压缩数据。  
avcodec_close()：关闭解码器。                
avformat_close_input()：关闭输入视频文件。   
• FFmpeg解码的数据结构如下所示（牢记）

• FFmpeg数据结构简介
AVFormatContext：封装格式上下文结构体，也是统领全局的结构体，保存了视频文件封装 格式相关信息。                               
AVInputFormat：每种封装格式（例如FLV, MKV, MP4, AVI）对应一个该结构体。
AVStream ：视频文件中每个视频（音频）流对应一个该结构体。              
AVCodecContext ：编码器上下文结构体，保存了视频（音频）编解码相关信息。          
AVCodec：每种视频（音频）编解码器(例如H.264解码器)对应一个该结构体。    
AVPacket：存储一帧压缩编码数据。                          
AVFrame：存储一帧解码后像素（采样）数据。        

• FFmpeg数据结构分析

▫ AVFormatContext
– iformat：输入视频的AVInputFormat
– nb_streams ：输入视频的AVStream 个数
– streams ：输入视频的AVStream []数组
– duration ：输入视频的时长（以微秒为单位）
– bit_rate ：输入视频的码率
▫ AVInputFormat
– name：封装格式名称
– long_name：封装格式的长名称
– extensions：封装格式的扩展名
– id：封装格式ID
– 一些封装格式处理的接口函数 

▫ AVStream
– id：序号
– codec：该流对应的AVCodecContext
– time_base：该流的时基
– r_frame_rate： 该流的帧率
▫ AVCodecContext
– codec：编解码器的AVCodec
– width, height：图像的宽高（只针对视频）
– pix_fmt：像素格式（只针对视频）
– sample_rate：采样率（只针对音频）
– channels：声道数（只针对音频）
– sample_fmt：采样格式（只针对音频）
▫ AVCodec
– name：编解码器名称
– long_name：编解码器长名称
– type：编解码器类型
– id：编解码器ID
– 一些编解码的接口函数 

▫ AVPacket
– pts：显示时间戳
– dts ：解码时间戳
– data ：压缩编码数据
– size ：压缩编码数据大小
– stream_index ：所属的AVStream
▫ AVFrame
– data：解码后的图像像素数据（音频采样数据）。
– linesize：对视频来说是图像中一行像素的大小；对音频来说是整个音频帧的大小。
– width, height：图像的宽高（只针对视频）。
– key_frame：是否为关键帧（只针对视频） 。
– pict_type：帧类型（只针对视频） 。例如I， P， B。

注：解码后的数据为什么要经过sws_scale()函数处理？
    解码后YUV格式的视频像素数据保存在AVFrame的data[0]、 data[1]、 data[2]中。 但是这些像素值并不是连续存储的， 每行有效像素之后存储 了 一 些 无 效 像 素 。 以 亮 度 Y 数 据 为 例 ， data[0] 中 一 共 包 含 了linesize[0]*height个数据。 但是出于优化等方面的考虑， linesize[0]实际上并不等于宽度width， 而是一个比宽度大一些的值。 因此需要使用sws_scale()进行转换。 转换后去除了无效数据， width和linesize[0]取值相等。
 

本文参考雷霄骅PDF