ffmpeg 从内存中读取数据

由于当前的一些项目需要部署到微服务中,许多数据已经保存于内存中,因此有些数据并不能直接通过常规的读取文件接口进行处理,需要从内存中读取数据。
如果只是参考ffmpeg的doc/examples/avio_reading.c中的代码读取内存数据,在解码时可能会出现警告:

[mp3 @ 0x55a2f51b89c0] invalid concatenated file detected - using bitrate for duration

并且解码后的数据,在某些格式下可能会在末尾处丢失或多出一部分数据。
以音频解码得到的PCM数据为例,前面部分解码的数据是一致的,但是末尾部分,内存解码会与ffmpeg结果不一致,还多出一部分垃圾数据:
在这里插入图片描述
经过查找,最后在StackOverflow中找到原因。这是由于在avio_alloc_context时没有实现自定义函数int64_t (*seek)(void *opaque, int64_t offset, int whence))导致的。而网上的许多从内存读取数据解码的教程,大多是参考雷神和avio_reading.c的代码,但是这两份代码都没有提到和实现内存seek回调函数(雷神的代码是file.read,文件流自带seek)。实现自定的seek后再解码,得到的PCM数据与ffmpeg相同:
在这里插入图片描述

参考的源代码如下:

struct MemoryAVFormat {
    MemoryAVFormat(const MemoryAVFormat &) = delete;

    AVFormatContext *ctx;
    AVIOContext *ioCtx;

    char *audio;
    size_t audio_length;
    size_t audio_offset;

    MemoryAVFormat(char *theAudio, size_t theAudioLength)
    : ctx(avformat_alloc_context()),
      ioCtx(nullptr),
      audio(theAudio),
      audio_length(theAudioLength),
      audio_offset(0) {
        ioCtx = create_audio_buffer_io_context();
        if (ctx == nullptr)
            throw audio_processing_exception("Failed to allocate context");

        if (ioCtx == nullptr)
            throw audio_processing_exception("Failed to allocate IO context for audio buffer");

        ctx->pb = ioCtx;
        ctx->flags |= AVFMT_FLAG_CUSTOM_IO;

        int err = avformat_open_input(&ctx, "nullptr", NULL, NULL);
        if (err != 0)
            throwAvError("Error configuring context from audio buffer", err);
    }

    int read (uint8_t* theBuf, int theBufSize) {
        int aNbRead = std::min (int(audio_length - audio_offset), theBufSize);
        if(aNbRead == 0) { return AVERROR_EOF; }
        memcpy(theBuf, audio + audio_offset, aNbRead);
        audio_offset += aNbRead;
        return aNbRead;
    }

    int64_t seek(int64_t offset, int whence) {
         if (whence == AVSEEK_SIZE) { return audio_length; }
         audio_offset = offset;

         if(audio == NULL || audio_length == 0) { return -1; }
         if     (whence == SEEK_SET) { audio_offset = offset; }
         else if(whence == SEEK_CUR) { audio_offset += offset; }
         else if(whence == SEEK_END) { audio_offset = audio_length + offset; }

         //if(audio_offset < 0) { audio_offset  = 0; } else
         //if(audio_offset > audio_length) { audio_offset = audio_length; }
         return offset;
    }

    AVIOContext *create_audio_buffer_io_context() {
        const int aBufferSize = 4096;
        unsigned char* aBufferIO = (unsigned char* )av_malloc(aBufferSize + AV_INPUT_BUFFER_PADDING_SIZE);
        return avio_alloc_context(aBufferIO,
                                  aBufferSize,
                                  0,
                                  this,
                                  [](void* opaque, uint8_t* buf, int bufSize)
                                  { return ((MemoryAVFormat* )opaque)->read(buf, bufSize); },
                                  NULL,
                                  [](void* opaque, int64_t offset, int whence)
                                  { return ((MemoryAVFormat* )opaque)->seek(offset, whence); });
    }

    ~MemoryAVFormat() {
        av_free(ioCtx);
        avformat_close_input(&ctx);
    }
}

参考链接

  • 2
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ffmpeg是一款开源的多媒体处理工具,可以用来处理音视频数据。通常情况下,ffmpeg是通过读取磁盘上的音视频文件进行处理的,但也可以通过一些特殊方法从内存读取数据。 要在ffmpeg读取内存数据,首先需要将内存数据加载到程序的一个内存缓冲区。可以使用一些特定的库函数或方法将内存数据复制到内存缓冲区。然后,可以使用ffmpeg的API函数来读取内存缓冲区的数据进行处理。 在使用ffmpeg读取内存数据时,需要明确输入数据的格式。对于音频数据,可以使用AVFrame结构体或AVPacket结构体来表示,具体使用哪个结构体取决于内存数据的格式和处理需求。而对于视频数据,则可以使用AVFrame结构体来表示。 读取内存数据时,可以使用ffmpeg提供的一些函数来解码,转码或处理音视频数据。通过调用相应的API函数,并将内存缓冲区的数据作为参数传递给这些函数,可以实现对内存数据的处理。处理完成后,可以将处理结果写入到内存缓冲区,或者将其保存到磁盘文件。 需要注意的是,由于内存数据的读取和处理是与具体的应用场景相关的,因此在读取内存数据之前,需要对其进行一些准备工作,包括确定数据的格式和大小,以及分配足够的内存空间来存储数据。 总之,通过合理使用ffmpeg的API函数和内存缓冲区,可以实现对内存数据进行读取和处理的功能。这种方法可以适用于一些特殊场景,如网络流媒体数据处理、实时视频流处理等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值