FFMPEG 之 AVPacket

已于 2023-06-19 16:55:39 修改
阅读量2.4k 收藏 9
点赞数 1
文章标签： ffmpeg
于 2021-01-28 17:13:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/intel1985/article/details/107563426
版权

前言：

    本文介绍FFMPEG的AVPacket相关内容:

  1. AVPacket在FFMPEG中用来保存Demux分离出来的压缩的ES流信息。

  2. AVBufferRef表示AVBuffer的引用，和AVBuffer的关系是多个AVBufferRef对一个AVBuffer。

  3. AVBuffer 实现引用计数，其参数refcount表示正在使用这个AVBuffer的AVBufferRef个数。

使用AVPacket时，通过调用av_buffer_alloc获得表示AVBufferRef的buf和AVBuffer，数据操作可在获得buf后读写pkt->data结构体实现，本文FFMPEG使用版本ffmpeg-4.2.2。

AVPacket，AVBufferRef，AVBuffer关系总结

关系图

引用层次关系可以简述为：AVPacket ->AVBufferRef->AVBuffer->refcount

总结

API解读

AVPacket *av_packet_alloc(void)
{
    AVPacket *pkt = av_mallocz(sizeof(AVPacket));
    if (!pkt)
        return pkt;
    /* 
     *1. 释放side_data，side_data类似extradata,比如保存ADTS的采样率，声道等信息。
         在FFMPEG中用AVPacketSideDataType这个枚举类型来描述，Android的MetaData就是一种side_data。
         封装在MP4,FLV,MKV中的H264,H265的SPS,PPS信息也存在于extradata中，push给解码器的时候，需要事先把这些Header加上。
         此处av_freep(&pkt->side_data)时，用free或者_aligned_free函数释放了0地址。
          GCC手册中描述，free的参数可以是0，也就是说free 0地址多次是可以的，什么动作也不会发生。但如果free的参数非calloc,malloc,realloc，则结果未定义。
    *2. 如果AVBufferRef存在，则消灭他。
    *3. 给AVPacket的成员赋初值
    */
    av_packet_unref(pkt);

    return pkt;
}

/* 带了size参数意味着可以生成AVBufferRef和AVBuffer */
int av_new_packet(AVPacket *pkt, int size)
{
    AVBufferRef *buf = NULL;
    /* 
    * 1. AVBufferRef为空时，流程同av_buffer_alloc，先创建data空间，再创建AVBuffer，最后创建AVBufferRef并返回。此时设置BUFFER_FLAG_REALLOCATABLE标记。
    * 2. AVBufferRef不空时，调用av_buffer_realloc：
        a.AVBuffer的flag不带有BUFFER_FLAG_REALLOCATABLE标记，或不能写(READONLY或者引用计数不是1)，或者data指向与AVBufferRef不一致，则重新分配AVBufferRef并释放之前的AVBufferRef。
        b.否则不用重新分配AVBufferRef，直接av_realloc(buf->buffer->data, size)。
    */
    int ret = packet_alloc(&buf, size);
    if (ret < 0)
        return ret;

    av_init_packet(pkt);
    pkt->buf      = buf;
    pkt->data     = buf->data;
    pkt->size     = size;

    return 0;
}

/* 两个packet共享AVBuffer，但side data不共享 */
int av_packet_ref(AVPacket *dst, const AVPacket *src)
{
    int ret;
    /* 复制src的内容到dst，整这一出是为了深拷贝。
    * 把src中side data全部拷贝到dst中去，而不是仅仅传个指针到dst。
    */
    ret = av_packet_copy_props(dst, src);
    if (ret < 0)
        return ret;
    if (!src->buf) {
       /* 根据情况使用现存的AVBufferRef, 亦或使用新分配的AVBufferRef，此时无AVBufferRef，就会生成新的AVBufferRef */
        ret = packet_alloc(&dst->buf, src->size);
        ……
    } else {

         /* src指向的数据引用计数加1。为dst产生一个新的AVBufferRef，然后AVBufferRef指向与src同一个AVBuffer。
          * 注意dst和src的 AVBufferRef是不相同的，但AVBuffer是相同的。真正计数是在 AVBuffer中进行
          */
        dst->buf = av_buffer_ref(src->buf);
        if (!dst->buf) {
            ret = AVERROR(ENOMEM);
            goto fail;
        }

      /* src指向的数据使用了引用计数, dst->data数据此时不需要复制，只需要把数据指针指向src->data即可 */
        dst->data = src->data;
    }
    dst->size = src->size;
    return 0;
fail:
    av_packet_free_side_data(dst);
    return ret;
}

void av_packet_unref(AVPacket *pkt)
{
    /* 如果side data 存在，就释放掉。*/
    av_packet_free_side_data(pkt);
    /* 如果AVBufferRef存在，就将它释放掉，并且，将它指向的AVBuffer的引用计数减1。如果减1之后，AVBuffer无人引用，那么需要将AVBuffer也释放掉*/
    av_buffer_unref(&pkt->buf);

    /* 初始化 */
    av_init_packet(pkt);
    pkt->data = NULL;
    pkt->size = 0;
}

/* 实际上是使用引用计数功能将新生成的packet指向同一个AVBuffer */

AVPacket *av_packet_clone(const AVPacket *src)
{
    AVPacket *ret = av_packet_alloc();

    if (!ret)
        return ret;

    /* 将ret的data指向src的data，并且使用AVBuffer引用计数。*/  
    if (av_packet_ref(ret, src))
       av_packet_free(&ret);
    /* AVBufferRef分配不成功可能返回有问题的pkt */
    return ret;
}
void av_packet_move_ref(AVPacket *dst, AVPacket *src)
{

    /* 将src的全部信息放到dst中，并且将 src中信息擦除 */
    *dst = *src;
    av_init_packet(src);
    src->data = NULL;
    src->size = 0;
}

/* 让pkt具有计数功能 */
int av_packet_make_refcounted(AVPacket *pkt)
{
    int ret;
    /* 如果pkt已经使用引用计数，则返回 */
    if (pkt->buf)
        return 0;

    ret = packet_alloc(&pkt->buf, pkt->size);
    if (ret < 0)
        return ret;
    av_assert1(!pkt->size || pkt->data);
    if (pkt->size) /* 将原始数据复制到新生成的data buffer中 */
        memcpy(pkt->buf->data, pkt->data, pkt->size);

   /* data指向新位置，如果需要释放data,此处未进行释放，注意风险 */ 
   pkt->data = pkt->buf->data;

    return 0;
}

/* 如果pkt指向的data部分不可以写，那么就新生成一个AVBufferRef和AVBuffer，复制之前data指向的数据，让新生成的data默认可写。 */
int av_packet_make_writable(AVPacket *pkt)
{
    AVBufferRef *buf = NULL;
    int ret;

    if (pkt->buf && av_buffer_is_writable(pkt->buf))
        return 0;

    ret = packet_alloc(&buf, pkt->size);
    if (ret < 0)
        return ret;
    av_assert1(!pkt->size || pkt->data);
    if (pkt->size)
        memcpy(buf->data, pkt->data, pkt->size);

    av_buffer_unref(&pkt->buf);
    pkt->buf  = buf;
    pkt->data = buf->data;

    return 0;
}

int av_get_packet(AVIOContext *s, AVPacket *pkt, int size)
{
    av_init_packet(pkt);
    pkt->data = NULL;
    pkt->size = 0;
    pkt->pos  = avio_tell(s);

    /* 1. 用av_grow_packet来给pkt分配AVBufferRef，如果AVBufferRef存在，调用av_buffer_realloc;否则调用av_buffer_alloc
    *  2. 用AVIO从流中读size个数据到pkt指向的data中，pkt有数据存在时，从有效data的末尾开始写数据。
    */
    return append_packet_chunked(s, pkt, size);
}


/* 增加av pkt的size，增加grow_by字节，注意返回的pkt一定是使用AVBufferRef引用计数的 */
int av_grow_packet(AVPacket *pkt, int grow_by)
{
    /* 检查增加量，与pkt->size+grow_by+AV_INPUT_BUFFER_PADDING_SIZE这种写法比，可以避免溢出。 */
    if ((unsigned)grow_by >
        INT_MAX - (pkt->size + AV_INPUT_BUFFER_PADDING_SIZE))
        return AVERROR(ENOMEM);
    /* 整块新的buf size */
    new_size = pkt->size + grow_by + AV_INPUT_BUFFER_PADDING_SIZE;
    /* 如果pkt使用AVBufferRef */
    if (pkt->buf) {
        size_t data_offset;
        uint8_t *old_data = pkt->data;
        if (pkt->data == NULL) {
            data_offset = 0;
            pkt->data = pkt->buf->data;
        } else {
            /* 已经使用的数据长度，目前也只有在此函数中发现，pkt->data与pkt->buf->data指向可能不同
             * 可以看出，完整的pkt data和size应该是要从AVBufferRef中拿
             * pkt结构体中指向的data和size是当前可以使用的。像av_shrink_packet这个函数，也是减少了pkt的size。
             */
            data_offset = pkt->data - pkt->buf->data;
            if (data_offset > INT_MAX - new_size)
                return AVERROR(ENOMEM);
        }

        if (new_size + data_offset > pkt->buf->size) {
            int ret = av_buffer_realloc(&pkt->buf, new_size + data_offset);
            if (ret < 0) {
                pkt->data = old_data;
                return ret;
            }
            /* pkt的data仍然需要比AVBufferRef的data超前data_offset个。*/
            pkt->data = pkt->buf->data + data_offset;
        }
    } else {
        /* 没有使用AVBufferRef，则创建一个，所以,av_grow_packet成功之后，pkt的data一定使用了引用计数 */
        pkt->buf = av_buffer_alloc(new_size);
        if (!pkt->buf)
            return AVERROR(ENOMEM);
        if (pkt->size > 0)
            memcpy(pkt->buf->data, pkt->data, pkt->size);
        pkt->data = pkt->buf->data;
    }
    pkt->size += grow_by;
    memset(pkt->data + pkt->size, 0, AV_INPUT_BUFFER_PADDING_SIZE);

    return 0;
}

 AVPacket中的data不总是等于其成员buf中data成员

        先说明一下情况，如果数据包可能包含多个Frame帧，每个Frame帧都有自己的数据和大小，那么AVPacket中的data就可能和成员buf中data成员不一致。总的说来，pkt.buf->data指向整个数据包,而pkt->data指向的是当前正在使用的数据部分。
        A. av_grow_packet的时候，pkt->data = pkt->buf->data + data_offset; 如果data_offset不为0，这个时候，二者不一致。
        B. mkv demux中，pkt->buf->data指向block,pkt->data指向lace.

static int matroska_parse_frame(...)
{
    MatroskaTrackEncoding *encodings = track->encodings.elem;
    uint8_t *pkt_data = data;
......处理pkt_data
    av_init_packet(pkt);
    if (pkt_data != data)
        pkt->buf = av_buffer_create(pkt_data, pkt_size + AV_INPUT_BUFFER_PADDING_SIZE,
                                    NULL, NULL, 0);
    else
        pkt->buf = av_buffer_ref(buf);

    if (!pkt->buf) {
        res = AVERROR(ENOMEM);
        goto fail;
    }

    pkt->data         = pkt_data;
    pkt->size         = pkt_size;
    pkt->flags        = is_keyframe;
    pkt->stream_index = st->index;

......
    res = ff_packet_list_put(&matroska->queue, &matroska->queue_end, pkt, 0);
}

static int matroska_parse_block(AVBufferRef *buf, uint8_t *data...)
{
    block_time = sign_extend(AV_RB16(data), 16);
    data      += 2;
    res = matroska_parse_laces(matroska, &data, &size, (flags & 0x06) >> 1,
                               &lace_size, &laces);
......

    for (n = 0; n < laces; n++) {
......
        res = matroska_parse_frame(matroska, track, st, buf, data, lace_size[n],
                                   timecode, lace_duration, pos,
                                   !n ? is_keyframe : 0,
                                   additional, additional_id, additional_size,
                                   discard_padding);
......
        /*  buf不动，data继续向前推进 */
        data += lace_size[n];
        size -= lace_size[n];
    }
}

static int matroska_parse_cluster(MatroskaDemuxContext *matroska)
{
    MatroskaBlock     *block = &cluster->block;
......
    res = matroska_parse_block(matroska, block->bin.buf, block->bin.data,
                               block->bin.size, block->bin.pos,
                               cluster->timecode, block->duration,
                               is_keyframe, additional, block->additional_id,
                               block->additional.size, cluster->pos,
                               block->discard_padding);
......
}

说明

1. 关于side data
    ffmpeg中mpegts.c的side data比较特别，调用顺序是：
handle_packets->handle_packet->mpegts_push_data->new_pes_packet->av_packet_new_side_data->av_packet_add_side_data
也就是说每一个pes包都要生成side data，这个side data用于保存当前pkt的ID信息：
    sd = av_packet_new_side_data(pkt, AV_PKT_DATA_MPEGTS_STREAM_ID, 1);
    if (!sd)
        return AVERROR(ENOMEM);
    *sd = pes->stream_id;
 ts demux里面填入了当前pes的stream_id，比如0xe0这种。

2. side data不单单可以是codec data,还可以是AVPacketSideDataType的各种类型，比如DRM系统需要的初始化信息，存储IV信息等等。

Martyn哥
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【FFmpeg】AVPacket的使用详解
郭老二
08-06 3315
1、AVPacket简介 AVPacket是存储压缩编码数据相关信息的结构体，内部有压缩数据。它通常由解码器导出，或者作为输入传递给解码器，或者传递给muxers。 对于视频，它通常应该包含一个压缩帧。对于音频，它可能包含几个压缩帧。 重要的变量有以下几个： AVBufferRef *buf; 参考计数 uint8_t *data： 压缩编码后的数据。 例如对于H.264来说。1个AVPacket的data通常对应一个NAL。 注意：在这里只是对应，而不是一模一样。他们之间有微小的差别：使用FFMPE
ffmpeg拿avpacket做缓存_FFMPEG结构体：AVPacket解析
weixin_39873356的博客
12-21 327
因为FFmpeg更新的比较快，API也会跟着有所变动，所以声明一下，本文使用的FFmpeg版本为V3.3.5。1.AVPacket简介AVPacket是FFmpeg中很重要的一个数据结构，它保存了解复用(demuxer)之后，解码(decode)之前的数据(仍然是压缩后的数据)和关于这些数据的一些附加的信息，如显示时间戳(pts)，解码时间戳(dts),数据时长(duration)，所在流媒体的索...
FFmpeg 源码之结构体 AVPacket、AVPacketSideData、AVBufferRef 与 AVBuffer
洪伟的专栏
04-06 2449
AVPacket 存储的是编码后的帧数据，它通常由 demuxer 输出，然后作为输入传递给 decoder，或者从 encoder 接收作为输出，然后传递给 muxer。 对于视频，它通常应该包含一个压缩帧。对于音频，它可能包含几个压缩帧。encoder 允许输出空数据包、不包含压缩数据、只包含 side data（例如，在编码结束时更新一些流参数）。 数据所有权的语义取决于 buf 字段。如果设置了该值，则动态分配 Packet 数据并无限期有效，直到对 av_packet_unref() 的调用将引
ffmpeg中的AVPacket的申请、使用与释放
手中沙的博客
06-02 1959
【版权申明】转载请附上出处链接 ffmpeg中的AVPacket的申请、使用与释放 正确的使用姿势Mark。 AVPacket的申请： AVPacket *packet = NULL; packet = av_packet_alloc(); 此时，已经申请了AVPacket，但是AVPacket中的data为空，size为零。 AVPacket的使用： av_init_packet(AVPacket *pkt) 初始化AVPacket中的值 av_grow_packet(AVPacket *pk
【ffmpeg 基础函数】详解FFmpeg中的av_packet_ref函数
探索C++编程的奥秘，分享深入的技术见解和实践，旨在激发读者创造力与解决问题的思维。
09-24 403
`av_packet_ref`是FFmpeg库中用于复制一个`AVPacket`结构体的函数。这个函数主要用于在不同的上下文中共享一个数据包，而不需要重新分配内存。
ffmpeg之AVPacket结构体详细解释
ZZU_LGY
06-02 810
AVPacket结构体的定义可以在FFmpeg的AVPacket.h头文件中找到。
ffmpeg内存模型AVPacket API和AVFrame API
10-27
本篇文章将详细探讨FFmpeg中的两个核心API：AVPacket和AVFrame，以及它们在内存管理中的作用。 AVPacket API是FFmpeg用来传输和存储解码后的音视频帧数据的结构。每个AVPacket对象包含了一个或多个数据缓冲区...
FFmpeg动态库压缩包
09-29
为了充分利用FFmpeg的功能，你需要熟悉其API接口，这通常涉及到学习如何创建和管理多媒体上下文（AVFormatContext、AVCodecContext等），以及如何使用AVPacket和AVFrame等数据结构进行数据处理。此外，FFmpeg的文档...
FFMpeg关键帧提取
08-25
AVPacket packet; av_init_packet(&packet); if (av_read_frame(context, &packet) ) { break; // EOF or error } if (packet.stream_index == videoStreamIndex && packet.flags & AV_PKT_FLAG_KEY) { // ...
ffmpeg视频解码成YUV，JPG
09-26
FFmpeg是一款强大的开源多媒体处理工具，它包含了音视频编解码、封装、转换、流媒体等功能。在这个场景中，我们主要关注的是如何使用FFmpeg将视频解码为YUV格式，以及将YUV数据转化为JPEG图片。下面我们将详细介绍这...
C#FFmpeg拉取RTMP流
最新发布
06-21
例如，`av_free_packet`用于释放AVPacket，`avcodec_close`关闭解码器，`avformat_close_input`关闭输入上下文。 8. **事件处理**：在实时流处理中，可能需要处理各种事件，如缓冲区满、网络中断等。这些可以通过...
ffmpeg编码越来越小_ffmpeg中的roi encoding介绍
weixin_29463587的博客
12-10 644
ROI (region of interest) encoding是一项基于感兴趣区域的视频编码技术，对图像中感兴趣的区域减少量化参数值(qp：quantization parameter)，从而分配更多码率以提升画面质量，而对不感兴趣的区域则增加量化参数值(qp)，从而分配更少码率(这部分区域的画面质量会因此有所下降)，这样，在不损失图像整体质量的前提下，可以节省网络带宽占用和视频存储...
ffmpeg从mp4(音视频)中提取h264(视频)
quietbxj的博客
09-16 2438
ffmpeg从mp4(音视频)中提取h264(视频) /* * 提取视频中的视频数据: https://www.jianshu.com/p/11cdf48ec248 * */ #include <stdio.h> extern "C" { #include <libavformat/avformat.h> #include <libavutil/log.h> #include <libavformat/avio.h> } #pragma war
ffmpeg之AVPacket笔记
热门推荐
zwlq1314521的专栏
10-24 1万+
每一个包是一个完整的数据帧。注意保存音视频数据包的内存 是 malloc 出来的,用完后应及时用 free 归还给系统。 typedef struct AVPacket { int64_t pts; // presentation time stamp in time_base units // 表示时间,对视频是显示时间 int64_t dts; // decompressio
AVPacket
weixin_42123332的博客
10-13 1941
AVPacket是存储压缩编码数据相关信息的结构 AVPacket是FFmpeg中很重要的一个数据结构，它保存了解复用之后，解码之前的数据（仍然是压缩后的数据）和关于这些数据的一些附加信息，如显示时间戳（pts）、解码时间戳（dts）、数据时长，所在媒体流的索引等。对于视频来说，AVPacket通常包含一个压缩的Frame，而音频（Audio）则有可能包含多个压缩的Frame。并且，一个Packet有可能是空的，不包含任何压缩数据，只含有side data（side data，容器提供的关于Packet的
ffmpeg的AVPacket和AVFrame之间的关系
06-08
AVPacket和AVFrame都是FFmpeg中用于音视频处理的结构体。 AVPacket代表压缩的数据包，包含了音视频的压缩数据和一些附加信息，如时间戳、数据包的大小等。 AVFrame代表解码后的音视频帧，包含了音视频的原始数据、宽高、格式等信息。AVFrame在解码后可以被用于渲染或编码。 AVPacket和AVFrame之间的关系是：AVPacket包含了压缩的音视频数据，AVFrame包含了解码后的音视频数据。在音视频处理过程中，首先从文件或网络中读取AVPacket数据，然后对其进行解码，得到AVFrame数据，最后渲染或编码AVFrame数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值