FFmpeg拆分h264视频流和aac音频流

最新推荐文章于 2024-07-24 11:24:10 发布

dyer gan

最新推荐文章于 2024-07-24 11:24:10 发布

阅读量903

点赞数 1

分类专栏： ffmpeg 文章标签： ffmpeg 音视频 aac

本文链接：https://blog.csdn.net/weixin_42764231/article/details/128690681

版权

本文介绍了如何使用FFmpeg拆分h264视频流和aac音频流，详细解析了流程和关键代码，包括av_format_flush、split_adts_audio、split_h264_video函数的作用，以及处理TS/PS和MP4/FLV/MKV格式的区别。

摘要由CSDN通过智能技术生成

最近出差，偷懒了。导致很久没更新博客了，要继续努力！

一、整体流程概述

主要有四个函数：
formatFlush( ) : 打开AVFormatContext
printFrameDate( ) : 输出音频和视频信息
splitAdtsAudio( ) : 保存音频数据为aac格式
splitH264Video( ) : 保存视频数据为H264格式

可以看到流程图里保存音频数据和视频数据的两个函数区分了是否是TS/PS流：
TS/PS格式：
音频流自带了adts header
视频流为annexb模式有startcode，SPS和PPS是在ES中，vlc里打开编码器信息中显示h264
MP4/FLV/MKV格式：
音频流不带adts header，需要自己补充
视频流为mp4模式，没有startcode和SPS/PPS等信息。vlc里打开编码器信息中显示avc1。需要通过h264_mp4toannexb处理，添加startcode和SPS/PPS等信息。
在这里插入图片描述

二、截取代码分析

main函数：
AVFormatContext : 该结构体用来保存视频文件的上下文
formatFlush、splitAdtsAudio、splitH264Video三个函数都会用到AVFormatContext 来读取视频流的信息。
本人偷懒用了一个变量传，三个函数在用av_read_frame读取数据时会把AVFormatContext 中流读取处理完。
以至于都需要使用三次avformat_alloc_context函数来申请空间以及使用三次 formatFlush函数和文件关联。
注意用avformat_free_context()来释放上一次申请的空间，避免内存泄漏。

    /* AVFormatContext描述一个媒体文件或媒体流的构成和基本信息的结构体 */
    AVFormatContext *ifmtCtx = avformat_alloc_context();

    if(strstr(inFileName, "ts") != NULL || strstr(inFileName, "ps") != NULL)
    {
   
        isTsStream = true;
    }

    if((ret = formatFlush(ifmtCtx, inFileName)) < 0)
    {
   
        goto failed;
    }

    // 打印音视频数据
    printFrameDate(ifmtCtx, inFileName);
    if(ifmtCtx)
    {
   
        avformat_free_context(ifmtCtx);
    }

    ifmtCtx = avformat_alloc_context();
    if((ret = formatFlush(ifmtCtx, inFileName)) < 0)
    {
   
        goto failed;
    }

    // 写adts header , ts流不适用，ts流分离出来的packet带了adts header
    splitAdtsAudio(ifmtCtx, inFileName, outfileaac, isTsStream);

    if(ifmtCtx)
    {
   
        avformat_free_context(ifmtCtx);
    }

    ifmtCtx = avformat_alloc_context();
    //ifmtCtx = avformat_alloc_context();
    if((ret = formatFlush(ifmtCtx, inFileName)) < 0)
    {
   
        goto failed;
    }

    // 分离 H264流
    splitH264Video(ifmtCtx, inFileName, outfileh264, isTsStream);

formatFlush函数
avformat_open_input 关联输入文件或网络流的信息
avformat_find_stream_info 查看是否有媒体文件

    // 打开文件，主要是探测协议类型，如果是网络文件则创建网络链接
    ret = avformat_open_input(&ifmtCtx, inFileName, NULL, NULL);
    ret = avformat_find_stream_info(ifmtCtx, NULL);

printFrameDate（）函数
此处使用for循环来查找音频流和视频流的序列号。新版本已经封装成了av_find_best_stream.


    for (uint32_t i = 0; i < ifmtCtx->nb_streams; i++)
    {
   
        AVStream *inStream = ifmtCtx->streams[i];// 音频流、视频流、字幕流
        //如果是音频流，则打印音频的信息
        if (AVMEDIA_TYPE_AUDIO == inStream->codecpar->codec_type)
        {
   
            printf(<