ffmpeg解封装及解码实战

最新推荐文章于 2024-12-18 20:00:00 发布
原创 最新推荐文章于 2024-12-18 20:00:00 发布 · 599 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何使用FFmpeg进行媒体文件的解封装，并展示了如何查找和解析视频流（H264）和音频流（AAC）。通过实例代码演示了如何获取文件信息、流索引、编码参数和帧数据。

ffmpeg解封装及解码实战

目录

  1. 封装格式相关函数
  2. 解封装流程
  3. 补充
  4. 分离AAC和H264

1. 封装格式相关函数

1. 基本概念

在这里插入图片描述

2. 相关函数
1. avformat_alloc_context();负责申请一个AVFormatContext结构的内存,并进行简单初始化
2. avformat_free_context();释放AVFormatContext及其所有流。
3. avformat_close_input();关闭解复用器。关闭后就不再需要使用avformat_free_context 进行释放
4. avformat_open_input();打开输入视频文件
  1. 打开一个输入流并读取报头。编解码器未打开。
  2. 流必须用avformat_close_input()关闭。
  3. ps指向用户提供的AVFormatContext(由avformat_alloc_context分配)的指针。可能是一个指向NULL的指针，在哪种情况下AVFormatContext是由这个分配的函数并写入ps。
  4. 内部有调用avformat_alloc_context()
5. avformat_find_stream_info()：获取音视频文件信息
6. av_read_frame(); 读取音视频包
7. avformat_seek_file(); 定位文件
8. av_seek_frame():定位文件

2. 解封装流程

在这里插入图片描述

3. 补充

1. 区分不同的码流
  1. AVMEDIA_TYPE_VIDEO视频流:video_index = av_find_best_stream(ic, AVMEDIA_TYPE_VIDEO,
    -1,-1, NULL, 0)
  2. AVMEDIA_TYPE_AUDIO音频流:audio_index = av_find_best_stream(ic, AVMEDIA_TYPE_AUDIO,
    -1,-1, NULL, 0)
  3. AVPacket 里面也有一个index的字段
2. 补充点
  1. avformat_open_input和avformat_find_stream_info分别用于打开一个流和分析流信息。
  2. 在初始信息不足的情况下（比如FLV和H264文件），avformat_find_stream_info接口需要在内部调用read_frame_internal接口读取流数据（音视频帧），然后再分析后，设置核心数据结构AVFormatContext。
  3. 由于需要读取数据包， avformat_find_stream_info接口会带来很大的延迟

4. 分离AAC和H264

  1. 代码
#include <stdio.h>
#include <libavformat/avformat.h>


int main(int argc, char **argv) {
    //打开网络流。这里如果只需要读取本地媒体文件，不需要用到网络功能，可以不用加上这一句
//    avformat_network_init();

    const char *default_filename = "believe.mp4";

    char *in_filename = NULL;

    if (argv[1] == NULL) {
        in_filename = default_filename;
    } else {
        in_filename = argv[1];
    }
    printf("in_filename = %s\n", in_filename);

    //AVFormatContext是描述一个媒体文件或媒体流的构成和基本信息的结构体
    AVFormatContext *ifmt_ctx = NULL;           // 输入文件的demux

    int videoindex = -1;        // 视频索引
    int audioindex = -1;        // 音频索引


    // 打开文件，主要是探测协议类型，如果是网络文件则创建网络链接
    int ret = avformat_open_input(&ifmt_ctx, in_filename, NULL, NULL);
    if (ret < 0)  //如果打开媒体文件失败，打印失败原因
    {
        char buf[1024] = {0};
        av_strerror(ret, buf, sizeof(buf) - 1);
        printf("open %s failed:%s\n", in_filename, buf);
        goto failed;
    }

    ret = avformat_find_stream_info(ifmt_ctx, NULL);
    if (ret < 0)  //如果打开媒体文件失败，打印失败原因
    {
        char buf[1024] = {0};
        av_strerror(ret, buf, sizeof(buf) - 1);
        printf("avformat_find_stream_info %s failed:%s\n", in_filename, buf);
        goto failed;
    }

    //打开媒体文件成功
    printf_s("\n==== av_dump_format in_filename:%s ===\n", in_filename);
    av_dump_format(ifmt_ctx, 0, in_filename, 0);
    printf_s("\n==== av_dump_format finish =======\n\n");
    // url: 调用avformat_open_input读取到的媒体文件的路径/名字
    printf("media name:%s\n", ifmt_ctx->url);
    // nb_streams: nb_streams媒体流数量
    printf("stream number:%d\n", ifmt_ctx->nb_streams);
    // bit_rate: 媒体文件的码率,单位为bps
    printf("media average ratio:%lldkbps\n", (int64_t)(ifmt_ctx->bit_rate / 1024));
    // 时间
    int total_seconds, hour, minute, second;
    // duration: 媒体文件时长，单位微妙
    total_seconds = (ifmt_ctx->duration) / AV_TIME_BASE;  // 1000us = 1ms, 1000ms = 1秒
    hour = total_seconds / 3600;
    minute = (total_seconds % 3600) / 60;
    second = (total_seconds % 60);
    //通过上述运算，可以得到媒体文件的总时长
    printf("total duration: %02d:%02d:%02d\n", hour, minute, second);
    printf("\n");
    /*
     * 老版本通过遍历的方式读取媒体文件视频和音频的信息
     * 新版本的FFmpeg新增加了函数av_find_best_stream，也可以取得同样的效果
     */
    for (uint32_t i = 0; i < ifmt_ctx->nb_streams; i++) {
        AVStream *in_stream = ifmt_ctx->streams[i];// 音频流、视频流、字幕流
        //如果是音频流，则打印音频的信息
        if (AVMEDIA_TYPE_AUDIO == in_stream->codecpar->codec_type) {
            printf("----- Audio info:\n");
            // index: 每个流成分在ffmpeg解复用分析后都有唯一的index作为标识
            printf("index:%d\n", in_stream->index);
            // sample_rate: 音频编解码器的采样率，单位为Hz
            printf("samplerate:%dHz\n", in_stream->codecpar->sample_rate);
            // codecpar->format: 音频采样格式
            if (AV_SAMPLE_FMT_FLTP == in_stream->codecpar->format) {
                printf("sampleformat:AV_SAMPLE_FMT_FLTP\n");
            } else if (AV_SAMPLE_FMT_S16P == in_stream->codecpar->format) {
                printf("sampleformat:AV_SAMPLE_FMT_S16P\n");
            }
            // channels: 音频信道数目
            printf("channel number:%d\n", in_stream->codecpar->channels);
            // codec_id: 音频压缩编码格式
            if (AV_CODEC_ID_AAC == in_stream->codecpar->codec_id) {
                printf("audio codec:AAC\n");
            } else if (AV_CODEC_ID_MP3 == in_stream->codecpar->codec_id) {
                printf("audio codec:MP3\n");
            } else {
                printf("audio codec_id:%d\n", in_stream->codecpar->codec_id);
            }
            // 音频总时长，单位为秒。注意如果把单位放大为毫秒或者微妙，音频总时长跟视频总时长不一定相等的
            if (in_stream->duration != AV_NOPTS_VALUE) {
                int duration_audio = (in_stream->duration) * av_q2d(in_stream->time_base);
                //将音频总时长转换为时分秒的格式打印到控制台上
                printf("audio duration: %02d:%02d:%02d\n",
                       duration_audio / 3600, (duration_audio % 3600) / 60, (duration_audio % 60));
            } else {
                printf("audio duration unknown");
            }

            printf("\n");

            audioindex = i; // 获取音频的索引
        } else if (AVMEDIA_TYPE_VIDEO == in_stream->codecpar->codec_type)  //如果是视频流，则打印视频的信息
        {
            printf("----- Video info:\n");
            printf("index:%d\n", in_stream->index);
            // avg_frame_rate: 视频帧率,单位为fps，表示每秒出现多少帧
            printf("fps:%lffps\n", av_q2d(in_stream->avg_frame_rate));
            if (AV_CODEC_ID_MPEG4 == in_stream->codecpar->codec_id) //视频压缩编码格式
            {
                printf("video codec:MPEG4\n");
            } else if (AV_CODEC_ID_H264 == in_stream->codecpar->codec_id) //视频压缩编码格式
            {
                printf("video codec:H264\n");
            } else {
                printf("video codec_id:%d\n", in_stream->codecpar->codec_id);
            }
            // 视频帧宽度和帧高度
            printf("width:%d height:%d\n", in_stream->codecpar->width,
                   in_stream->codecpar->height);
            //视频总时长，单位为秒。注意如果把单位放大为毫秒或者微妙，音频总时长跟视频总时长不一定相等的
            if (in_stream->duration != AV_NOPTS_VALUE) {
                int duration_video = (in_stream->duration) * av_q2d(in_stream->time_base);
                printf("video duration: %02d:%02d:%02d\n",
                       duration_video / 3600,
                       (duration_video % 3600) / 60,
                       (duration_video % 60)); //将视频总时长转换为时分秒的格式打印到控制台上
            } else {
                printf("video duration unknown");
            }

            printf("\n");
            videoindex = i;
        }
    }

    AVPacket *pkt = av_packet_alloc();

    int pkt_count = 0;
    int print_max_count = 10;
    printf("\n-----av_read_frame start\n");
    while (1) {
        ret = av_read_frame(ifmt_ctx, pkt);
        if (ret < 0) {
            printf("av_read_frame end\n");
            break;
        }

        if (pkt_count++ < print_max_count) {
            if (pkt->stream_index == audioindex) {
                printf("audio pts: %lld\n", pkt->pts);
                printf("audio dts: %lld\n", pkt->dts);
                printf("audio size: %d\n", pkt->size);
                printf("audio pos: %lld\n", pkt->pos);
                printf("audio duration: %lf\n\n",
                       pkt->duration * av_q2d(ifmt_ctx->streams[audioindex]->time_base));
            } else if (pkt->stream_index == videoindex) {
                printf("video pts: %lld\n", pkt->pts);
                printf("video dts: %lld\n", pkt->dts);
                printf("video size: %d\n", pkt->size);
                printf("video pos: %lld\n", pkt->pos);
                printf("video duration: %lf\n\n",
                       pkt->duration * av_q2d(ifmt_ctx->streams[videoindex]->time_base));
            } else {
                printf("unknown stream_index:\n", pkt->stream_index);
            }
        }

        av_packet_unref(pkt);
    }

    if (pkt)
        av_packet_free(&pkt);
    failed:
    if (ifmt_ctx)
        avformat_close_input(&ifmt_ctx);


    getchar(); //加上这一句，防止程序打印完信息马上退出
    return 0;
}
  1. 结果
    在这里插入图片描述
FFmpeg入门详解之43：FFmpeg解封装的原理与实战
福优学苑@音视频+流媒体
09-26 659
根据流程可以推到出。
FFmpeg--解封装流程
qq_43538607的博客
03-10 850
FFmpeg--视频文件解封装流程
ffmpeg-解封装（demuxer）
李点点
05-01 634
============================ FFMPEG系列： FFmpeg编程入门 ============================ 简介： 基于ffmpeg的封装，将flv或者MP4封装格式的文件分离出音频和视频， 并且打印其音视频的参数 流程图： FFMPEG 的关键枚举 AVCodecID AV_CODEC_ID_VP9, AV_CODEC_ID_HEVC, AV_CODEC_ID_PCM_S16LE_PLANAR, AV_CODEC_ID_ADPCM_G722, 等等
FFmpeg解封装并获取本地媒体文件信息的源码
08-16
本资源是博主的博文《FFmpeg解封装并获取本地媒体文件的信息》的源码，博文地址在https://blog.csdn.net/u014552102/article/details/81709929。该资源里面包含整个vs2015的工程，依赖的FFmpeg库，还有演示用的audio1.mp3和video1.mp4两个媒体文件，使用户可以学到用FFmpeg分别对视频和音频进行解封装的区别和联系。
FFmpeg分离（解封装）视频和音频
yinshipin007的博客
06-08 1874
获取音频流的索引，笔者开发中发现对于某些格式是无法获取成功的， 此时需要遍历一下解封装上下文的流，通过流的解码器类型来进行获取，例如你想要获取音频流，则可以判断解码器的类型是否是音频解码器即可。libavformat库，是FFmpeg中用于处理各种媒体容器格式的库，它描述了一个媒体文件或媒体流的构成和基本信息，它的两个主要功能就是封装和解封装，可以说它是贯穿整个FFmpeg的根。使用FFmpeg库对mp4文件进行解封装，提取mp4中的视频流和音频流输出到单独的输出文件中。
FFmpeg解封装
SuperYang_的博客
01-03 1351
结构 AVFormatContext 1> AVIOContext *pb：文件IO的上下文，自定义格式时使用 2> char filename[1024]：保存打开的文件名，经常用到，例如断开重连 3> unsigned int nb_streams：流数量 4> AVStream **streams：具体流内容，通常只有视频、音频，偶尔也会有字幕之类的 5> int64_t duration：总长度，以AV_TIME_BA...
FFMPEG视频解封装解码 - 3、解封装实战 MP4中提取h264视频流
2401_84322731的博客
11-07 833
H.264 是一种高效的视频编码方法，可以在保证视频质量的前提下显著减少视频文件的大小。⼀个NALU = ⼀组对应于视频编码的NALU头部信息 + ⼀个原始字节序列负荷(RBSP,Raw。H.264原始码流(裸流)是由⼀个接⼀个NALU组成，它的功能分为两层，VCL(视频编码层)和。每个NAL单元是⼀个⼀定语法元素的可变⻓字节字符串，包括包含⼀个字节的头信息（⽤来表。PPS：图像参数集，对应的是⼀个序列中某⼀幅图像或者某⼏幅图像的参数。一个简单的实例，在MP4和TS文件中提取h264视频流。
FFMPEG视频解封装解码 - 5、视频解码实战 h264解码为yuv
2401_84322731的博客
11-08 247
视频解码流程与音频基本一致。
FFMPEG视频解封装解码 - 2、解封装实战 MP4中提取AAC音频流
2401_84322731的博客
11-07 789
这种格式的特征是可以确定的找到这个⾳频数据的开始，不需进⾏在⾳频数据流中间开始的解码，即它的解码必须在明确定义的开始处进⾏。所以说number_of_raw_data_blocks_in_frame == 0 表示说ADTS帧中有⼀个。⼀个AAC原始数据块⻓度是可变的，对原始帧加上ADTS头进⾏ADTS的封装，就形成了ADTS帧。number_of_raw_data_blocks_in_frame + 1个AAC原始帧。机上播放，很⼤的可能就是AAC⽂件的每⼀帧⾥缺少了ADTS头信息⽂件的包装拼接。
ffmpeg编解码，解封装封装
09-11
08-FFmpeg解封装+解码实战、09-FFmpeg编码+封装实战、10-FFmpeg过滤器实战这些文件名暗示了教程将逐步引导你掌握这些技能，通过实际操作加深理解和运用。不断探索FFmpeg的功能，你将能够应对更多复杂和定制化的...
FFmpeg音视频文件解封装实现
locahuang的博客
07-08 1728
一、什么是音视频解封装 解封装就是把视频文件（flv，mp4，rmvb，avi）按照一定的规则进行拆分，把该视频的音频流、视频流、字幕流等信息拆分出来。通过解封装，我们可以得到视频文件详细参数指标，包括：编码格式、文件大小、播放时长、分辨率、音频采样率、单声道/双声道等音视频信息。 二、实现源代码 #include <stdio.h> #include <libavformat/avformat.h> int main(int argc, char **argv) { co
FFmpeg系列（三）—— 解封装
weixin_49406295的博客
11-30 895
FFmpeg解封装
ffmpeg解封装解码
weixin_52243202的博客
09-24 1895
这里的使用是 av_read_frame() 来记录一帧，并进行输出 ，有一点需要注意的是 ，在读取新的帧的时候 要调用av_packet_unref去释放相关的包结构，避免相关包在释放的时候 查看到引用不为0而不去释放，导致的未知的错误事件发生。-注意：这个接口 也不是必须调用的 因为在avformat_open_input()的的时候 传入第一个参数 ，如果检测为空的化，这个函数内部会自动进行检测和分配相关的内存。◼ avformat_find_stream_info()：获取视频文件信息。
FFmpeg 音视频解封装
希望能帮助大家，希望大家多多支持，你们的支持是我前进的动力。
07-14 1229
解封装如下图所示，就是将FLV、MKV、MP4等文件解封装为视频H.264或H.265压缩数据，音频MP3或AAC的压缩数据，下图为常用的基本操作。
FFmpeg简单使用：解封装 ---- 基本流程
huabiaochen的博客
12-27 637
3.读取媒体的部分数据包以获取码流信息avformat_find_stream_info。4.2 定位文件avformat_seek_file或av_seek_frame。2.根据url打开本地文件或网络流avformat_open_input。1.分配解复用器上下文avformat_alloc_context。4.1 从文件中读取数据包av_read_frame。5.关闭解复用器avformat_close_input。4.读取码流信息：循环处理。
【FFmpeg】解封装 ① ( 封装与解封装流程 | 解封装函数简介 | 查找码流标号和码流参数信息 | 使用 MediaInfo 分析视频文件 )
最新发布
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
12-18 7217
一、解封装 1、封装与解封装流程 2、解封装 常用函数 二、解封装函数简介 1、avformat_alloc_context 函数 2、avformat_free_context 函数 3、avformat_open_input 函数 4、avformat_close_input 函数 三、查找码流标号和参数信息 1、码流标号 2、查找码流标号 3、查找码流参数信息 4、查找码流参数信息延迟分析 四、视频文件解封装示例 1、使用 MediaInfo 分析视频文件 2、使用 MediaInfo 分析视频文件
ffmpeg解复用视频文件
htjx99的专栏
01-21 1025
解复用视频文件：就是提取出音频文件和视频文件的ES流数据。而对于aac和h264来说，提取出来的数据直接保存并不能成功的播放，原因就在ffmpeg解出的ES数据比较纯净，没有ADTS头，而很多解码器都是需要ADTS头信息来进行解码的，所以就要对aac数据进行头部adts结构的添加。      对于h264文件来说，h264有两种封装， 一种是annexb模式，传统模式，有startcode，S
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值