Android 利用 FFmpeg 获取每一帧数据信息

一、本节目标

在上一节中演示了如果打开码流并且获取音视频的相关信息。这一节来获取码流每一帧的信息。在开始之前，首先来了解一下 FFmpeg 的对码流的处理过程。

FFmeg 处理流程如下：

• 1、得到输入流，打开输入流
• 2、解封装格式->得到编码数据包 AvPacket
• 3、解码数据包->得到解码的原始数据 AvFrame
• 4、处理数据->例如滤镜处理，重采样，像素格式转化等
• 5、编码原始数据->得到编码后的数据
• 6、封装格式
• 7、得到输出文件

通过了解上面的步骤可以知道，我们本小节的目的就需要处理第1，2步即可。

那么我们需要得到每一帧的什么数据呢？

• 1、 确定是音频帧还是视频帧（暂时不考虑字幕） -> 将对应的数据交给指定的解码器处理。
• 2、 帧的数据以及大小 -> 获取帧的内容，例如音频重采样，视频像素格式转化。
• 3、 帧的时间戳 -> 可以用于音视频同步。
• 4、 是否为关键帧 -> 追帧优化

二、解封装

第1步在上一小节已经描述过了，现在直接跳到第2步。
在 FFmpeg 中使用 AvPacket结构体来记录每一帧数据。它是在解封装时调用 av_read_frame 函数将当前帧数据保存到 AvPacket 中。

2.1、av_read_frame 解封装得到 AvPacket

以下是得到解封装的每一帧数据包的代码，通过循环调用 av_read_frame 获取每一帧数据。

//创建 AVPacket 对象空间
AVPacket *pkt = av_packet_alloc();

if (pkt == NULL) {
    LOGI("av_packet_alloc failed")
    return;
}

//读取数据到 pkt 中，引用计数会 + 1
for(;;){
    int ret = av_read_frame(avFormatContext, pkt);
    if (ret != 0) {
        break;
    }
    
    // pkt 的计数引用 -1，如果不将引用计数 -1 的话，内存会一直暴涨
    av_packet_unref(pkt);   
}
//将 pkt 指针置 NULL
av_packet_free(&pkt);

2.2、音频帧与视频帧的判断

我们知道在码流中每一路流都是对应一个的索引，而需要判断解码出来的数据帧是音频帧还是视频帧，我们需要先获取音频流和视频流的索引值。

audioIndex = av_find_best_stream(avFormatContext, AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);
LOGI("音频的索引值是%d", audioIndex)

videoIndex = av_find_best_stream(avFormatContext, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
LOGI("视频的索引值是%d", videoIndex)

在得到的 AvPacket 中有一个成员stream_index是保存索引，因此音频帧与视频帧的判断的代码如下：

for(;;){
    int ret = av_read_frame(avFormatContext, pkt);
    if (ret != 0) {
        break;
    }
    if (pkt->stream_index == audioIndex) {
      //解码音频数据    
    }else if(pkt->stream_index == videoIndex){
      //解码视频数据
    }
    // pkt 的计数引用 -1，如果不将引用计数 -1 的话，内存会一直暴涨
    av_packet_unref(pkt);   
}

2.3、 得到 AvPackge 的数据和大小

在 AvPacket 中通过 uint8_t *data 和 int size来保存对应的当前帧的数据和大小。

2.4、得到时间戳

在 AvPacket 中使用 dts 解码时间戳，pts 展示时间戳这两个属性来表示时间。

for(;;){
    int ret = av_read_frame(avFormatContext, pkt);
    if (ret != 0) {
        break;
    }
        if (pkt->stream_index == audioIndex) {
            //解码音频数据  
            LOGI("audio pts = %lld,dts =  %lld",pkt->pts,pkt->dts);
        }else if(pkt->stream_index == videoIndex){
            //解码视频数据
            LOGI("video pts = %lld,dts =  %lld",pkt->pts,pkt->dts);
        }
   // pkt 的计数引用 -1，如果不将引用计数 -1 的话，内存会一直暴涨
    av_packet_unref(pkt);   
}

2.5、关键帧的判断

if (pkt->flags & AV_PKT_FLAG_KEY) {
    LOGI("read a key frame");
}

三、参考

• http://ffmpeg.org/
• https://mp.weixin.qq.com/s/bSZMfVpnEKg_nhksw2AnMw

记录于 2019年1月20日晚