最简单的基于 FFmpeg 的内存读写的例子：内存转码器
参考雷霄骅博士的文章，链接：最简单的基于FFmpeg的内存读写的例子：内存播放器
正文
之前的所有有关 FFmpeg 的例子都是对文件进行操作的。实际上，并不是所有视频的编码，解码都是针对文件进行处理的。有的时候需要的解码的视频数据在一段内存中。例如，通过其他系统送来的视频数据。同样，有的时候编码后的视频数据也未必要保存成一个文件。例如，要求将编码后的视频数据送给其他的系统进行下一步的处理。以上两种情况就要求 FFmpeg 不仅仅是对文件进行“读，写”操作，而是要对内存进行“读，写”操作。因此打算记录的两个例子就是使用 FFmpeg 对内存进行读写的例子。
这篇文章记录一个基于 FFmpeg 的内存转码器。该转码器可以使用 FFmpeg 读取内存中的数据，转码为 H.264 之后再将数据输出到内存。
关于如何从内存中读取数据在这里不再详述，可以参考文章：《ffmpeg 从内存中读取数据(或将数据输出到内存)》。
FFmpeg 读写内存的关键点就两个：
第一，初始化自定义的 AVIOContext，指定自定义的回调函数。示例代码如下：
//AVIOContext中的缓存
unsigned char *aviobuffer=(unsigned char*)av_malloc(32768);
AVIOContext *avio=avio_alloc_context(aviobuffer, 32768,0,NULL,read_buffer,NULL,NULL);
pFormatCtx->pb=avio;
if(avformat_open_input(&pFormatCtx,NULL,NULL,NULL)!=0){
printf("Couldn't open inputstream.（无法打开输入流）\n");
return -1;
}
上述代码中，自定义了回调函数 read_buffer()。在使用 avformat_open_input() 打开媒体数据的时候，就可以不指定文件的 URL 了，即其第 2 个参数为 NULL（因为数据不是靠文件读取，而是由 read_buffer() 提供）。
第二，自己写回调函数。注意函数的参数和返回值（尤其是返回值）。示例代码如下：
//Callback
int read_buffer(void *opaque, uint8_t *buf, int buf_size){
if(!feof(fp_open)){
inttrue_size=fread(buf,1,buf_size,fp_open);
return true_size;
}else{
return -1;
}
}
当系统需要数据的时候，会自动调用该回调函数以获取数据。这个例子为了简单，直接使用 fread() 读取数据至内存。回调函数需要格外注意它的参数和返回值。
转码实际上就是解码和编码的结合。该方面的知识可以参考文章：
程序的流程图如下图所示。从图中可以看出，首先分别初始化了输入和输出的 AVFormatContext。然后首先解码输入的 AVPacket，得到存储像素数据（YUV420P 格式）的 AVFrame，然后编码 AVFrame 为 H.264 的 AVPacket，最后将编码后的 AVPacket 输出。
源程序
/**
* 最简单的基于FFmpeg的内存读写例子（内存转码器）
* Simplest FFmpeg mem Transcoder
*
* 源程序：
* 雷霄骅，张晖
* leixiaohua1020@126.com
* 中国传媒大学/数字电视技术
* Communication University of China / Digital TV Technology
* http://blog.csdn.net/leixiaohua1020
*
* 修改：
* 刘文晨 Liu Wenchen
* 812288728@qq.com
* 电子科技大学/电子信息
* University of Electronic Science and Technology of China / Electronic and Information Science
* https://blog.csdn.net/ProgramNovice
*
* 本程序实现了任意格式视频数据（例如 MPEG2）转码为 H.264 码流数据。
* 本程序并不是对文件进行处理，而是对内存中的视频数据进行处理。
* 它从内存读取数据，并且将转码后的数据输出到内存中。
* 是最简单的使用 FFmpeg 读写内存的例子。
*
* This software convert video bitstream (Such as MPEG2) to H.264
* bitstream. It read video bitstream from memory (not from a file),
* convert it to H.264 bitstream, and finally output to another memory.
* It's the simplest example to use FFmpeg to read (or write) from
* memory.
*
*/
#include "stdafx.h"
#include <stdio.h>
#define __STDC_CONSTANT_MACROS
#ifdef _WIN32
// Windows
extern "C"
{
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libavutil/avutil.h"
#include "libavutil/opt.h"
#include "libavutil/pixdesc.h"
};
#else
// Linux...
#ifdef __cplusplus
extern "C"
{
#endif
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libavutil/avutil.h>
#include <libavutil/opt.h>
#include <libavutil/pixdesc.h>
#ifdef __cplusplus
};
#endif
#endif
FILE *fp_open;
FILE *fp_write;
// Read File
int read_buffer(void *opaque, uint8_t *buf, int buf_size)
{
if (!feof(fp_open))
{
int true_size = fread(buf, 1, buf_size, fp_open);
return true_size;
}
else
{
return -1;
}
}
// Write File
int write_buffer(void *opaque, uint8_t *buf, int buf_size)
{
if (!feof(fp_write))
{
int true_size = fwrite(buf, 1, buf_size, fp_write);
return true_size;
}
else
{
return -1;
}
}
int flush_encoder(AVFormatContext *fmt_ctx, unsigned int stream_index)
{
int ret;
int got_frame;
AVPacket enc_pkt;
if (!(fmt_ctx->streams[stream_index]->codec->codec->capabilities &
CODEC_CAP_DELAY))
return 0;
while (1)
{
av_log(NULL, AV_LOG_INFO, "Flushing stream #%u encoder\n", stream_index);
//ret = encode_write_frame(NULL, stream_index, &got_frame);
enc_pkt.data = NULL;
enc_pkt.size = 0;
av_init_packet(&enc_pkt);
ret = avcodec_encode_video2(fmt_ctx->streams[stream_index]->codec, &enc_pkt,
NULL, &got_frame);
av_frame_free(NULL);
if (ret < 0)
break;
if (!got_frame)
{
ret = 0;
break;
}
// prepare packet for muxing
enc_pkt.stream_index = stream_index;
enc_pkt.dts = av_rescale_q_rnd(enc_pkt.dts,
fmt_ctx->streams[stream_index]->codec->time_base,
fmt_ctx->streams[stream_index]->time_base,
(AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
enc_pkt.pts = av_rescale_q_rnd(enc_pkt.pts,
fmt_ctx->streams[stream_index]->codec->time_base,
fmt_ctx->streams[stream_index]->time_base,
(AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
enc_pkt.duration = av_rescale_q(enc_pkt.duration,
fmt_ctx->streams[stream_index]->codec->time_base,
fmt_ctx->streams[stream_index]->time_base);
av_log(NULL, AV_LOG_DEBUG, "Muxing frame.\n");
// mux encoded frame
ret = av_write_frame(fmt_ctx, &enc_pkt);
if (ret < 0)
break;
}
return ret;
}
int main(int argc, char* argv[])
{
int ret;
AVFormatContext *ifmt_ctx = NULL;
AVFormatContext *ofmt_ctx = NULL;
AVPacket packet, enc_pkt;
AVFrame *frame = NULL;
enum AVMediaType type;
unsigned int stream_index;
unsigned int i = 0;
int got_frame, enc_got_frame;
AVStream *out_stream;
AVStream *in_stream;
AVCodecContext *dec_ctx, *enc_ctx;
AVCodec *encoder;
fp_open = fopen("cuc60anniversary_start.ts", "rb"); // 视频源文件
fp_write = fopen("cuc60anniversary_start.h264", "wb+"); // 输出文件
av_register_all();
ifmt_ctx = avformat_alloc_context();
avformat_alloc_output_context2(&ofmt_ctx, NULL, "h264", NULL);
unsigned char* inbuffer = NULL;
unsigned char* outbuffer = NULL;
inbuffer = (unsigned char*)av_malloc(32768);
outbuffer = (unsigned char*)av_malloc(32768);
AVIOContext *avio_in = NULL;
AVIOContext *avio_out = NULL;
// open input file
avio_in = avio_alloc_context(inbuffer, 32768, 0, NULL, read_buffer, NULL, NULL);
if (avio_in == NULL)
goto end;
ifmt_ctx->pb = avio_in;
ifmt_ctx->flags = AVFMT_FLAG_CUSTOM_IO;
if ((ret = avformat_open_input(&ifmt_ctx, "whatever", NULL, NULL)) < 0)
{
av_log(NULL, AV_LOG_ERROR, "Cannot open input file.\n");
return ret;
}
if ((ret = avformat_find_stream_info(ifmt_ctx, NULL)) < 0)
{
av_log(NULL, AV_LOG_ERROR, "Cannot find stream information.\n");
return ret;
}
for (i = 0; i < ifmt_ctx->nb_streams; i++)
{
AVStream *stream;
AVCodecContext *codec_ctx;
stream = ifmt_ctx->streams[i];
codec_ctx = stream->codec;
// Reencode video & audio and remux subtitles etc
if (codec_ctx->codec_type == AVMEDIA_TYPE_VIDEO)
{
// Open decoder
ret = avcodec_open2(codec_ctx,
avcodec_find_decoder(codec_ctx->codec_id), NULL);
if (ret < 0)
{
av_log(NULL, AV_LOG_ERROR, "Failed to open decoder for stream #%u.\n", i);
return ret;
}
}
}
// Print some input information
//av_dump_format(ifmt_ctx, 0, "whatever", 0);
// open output file
avio_out = avio_alloc_context(outbuffer, 32768, 1, NULL, NULL, write_buffer, NULL);
if (avio_out == NULL)
goto end;
//avio_out->write_packet=write_packet;
ofmt_ctx->pb = avio_out;
ofmt_ctx->flags = AVFMT_FLAG_CUSTOM_IO;
for (i = 0; i < 1; i++)
{
out_stream = avformat_new_stream(ofmt_ctx, NULL);
if (!out_stream)
{
av_log(NULL, AV_LOG_ERROR, "Failed allocating output stream.\n");
return AVERROR_UNKNOWN;
}
in_stream = ifmt_ctx->streams[i];
dec_ctx = in_stream->codec;
enc_ctx = out_stream->codec;
if (dec_ctx->codec_type == AVMEDIA_TYPE_VIDEO)
{
encoder = avcodec_find_encoder(AV_CODEC_ID_H264);
enc_ctx->height = dec_ctx->height;
enc_ctx->width = dec_ctx->width;
enc_ctx->sample_aspect_ratio = dec_ctx->sample_aspect_ratio;
enc_ctx->pix_fmt = encoder->pix_fmts[0];
enc_ctx->time_base = dec_ctx->time_base;
//enc_ctx->time_base.num = 1;
//enc_ctx->time_base.den = 25;
// H.264的必备选项，没有就会错
enc_ctx->me_range = 16;
enc_ctx->max_qdiff = 4;
enc_ctx->qmin = 10;
enc_ctx->qmax = 51;
enc_ctx->qcompress = 0.6;
enc_ctx->refs = 3;
enc_ctx->bit_rate = 500000;
ret = avcodec_open2(enc_ctx, encoder, NULL);
if (ret < 0)
{
av_log(NULL, AV_LOG_ERROR, "Cannot open video encoder for stream #%u.\n", i);
return ret;
}
}
else if (dec_ctx->codec_type == AVMEDIA_TYPE_UNKNOWN)
{
av_log(NULL, AV_LOG_FATAL, "Elementary stream #%d is of unknown type, cannot proceed.\n", i);
return AVERROR_INVALIDDATA;
}
else
{
// if this stream must be remuxed
ret = avcodec_copy_context(ofmt_ctx->streams[i]->codec,
ifmt_ctx->streams[i]->codec);
if (ret < 0)
{
av_log(NULL, AV_LOG_ERROR, "Copying stream context failed.\n");
return ret;
}
}
if (ofmt_ctx->oformat->flags & AVFMT_GLOBALHEADER)
enc_ctx->flags |= CODEC_FLAG_GLOBAL_HEADER;
}
// Print some output information
//av_dump_format(ofmt_ctx, 0, "whatever", 1);
// init muxer, write output file header
ret = avformat_write_header(ofmt_ctx, NULL);
if (ret < 0)
{
av_log(NULL, AV_LOG_ERROR, "Error occurred when opening output file.\n");
return ret;
}
i = 0;
// read all packets
while (1)
{
i++;
if ((ret = av_read_frame(ifmt_ctx, &packet)) < 0)
break;
stream_index = packet.stream_index;
if (stream_index != 0)
continue;
type = ifmt_ctx->streams[packet.stream_index]->codec->codec_type;
av_log(NULL, AV_LOG_DEBUG, "Demuxer gave frame of stream_index %u.\n",
stream_index);
av_log(NULL, AV_LOG_DEBUG, "Going to reencode the frame.\n");
frame = av_frame_alloc();
if (!frame)
{
ret = AVERROR(ENOMEM);
break;
}
// 解压缩时间戳
packet.dts = av_rescale_q_rnd(packet.dts,
ifmt_ctx->streams[stream_index]->time_base,
ifmt_ctx->streams[stream_index]->codec->time_base,
(AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
// 显示时间戳
packet.pts = av_rescale_q_rnd(packet.pts,
ifmt_ctx->streams[stream_index]->time_base,
ifmt_ctx->streams[stream_index]->codec->time_base,
(AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
// 解码输入文件
ret = avcodec_decode_video2(ifmt_ctx->streams[stream_index]->codec, frame,
&got_frame, &packet);
printf("Decode 1 Packet\tsize:%d\tpts:%lld.\n", packet.size, packet.pts);
if (ret < 0)
{
av_frame_free(&frame);
av_log(NULL, AV_LOG_ERROR, "Decoding failed.\n");
break;
}
if (got_frame)
{
frame->pts = av_frame_get_best_effort_timestamp(frame);
frame->pict_type = AV_PICTURE_TYPE_NONE;
enc_pkt.data = NULL;
enc_pkt.size = 0;
av_init_packet(&enc_pkt);
ret = avcodec_encode_video2(ofmt_ctx->streams[stream_index]->codec, &enc_pkt,
frame, &enc_got_frame);
printf("Encode 1 Packet\tsize:%d\tpts:%lld.\n", enc_pkt.size, enc_pkt.pts);
av_frame_free(&frame);
if (ret < 0)
goto end;
if (!enc_got_frame)
continue;
// prepare packet for muxing
enc_pkt.stream_index = stream_index;
enc_pkt.dts = av_rescale_q_rnd(enc_pkt.dts,
ofmt_ctx->streams[stream_index]->codec->time_base,
ofmt_ctx->streams[stream_index]->time_base,
(AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
enc_pkt.pts = av_rescale_q_rnd(enc_pkt.pts,
ofmt_ctx->streams[stream_index]->codec->time_base,
ofmt_ctx->streams[stream_index]->time_base,
(AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
enc_pkt.duration = av_rescale_q(enc_pkt.duration,
ofmt_ctx->streams[stream_index]->codec->time_base,
ofmt_ctx->streams[stream_index]->time_base);
av_log(NULL, AV_LOG_INFO, "Muxing frame %d.\n", i);
// mux encoded frame
av_write_frame(ofmt_ctx, &enc_pkt);
if (ret < 0)
goto end;
}
else
{
av_frame_free(&frame);
}
av_free_packet(&packet);
}
// flush encoders
for (i = 0; i < 1; i++)
{
// flush encoder
ret = flush_encoder(ofmt_ctx, i);
if (ret < 0)
{
av_log(NULL, AV_LOG_ERROR, "Flushing encoder failed.\n");
goto end;
}
}
// Write file trailer
av_write_trailer(ofmt_ctx);
end:
// avio_in 释放之前需要先释放 avio_in->buffer, 否则会出现内存泄漏
av_free(avio_in->buffer);
av_freep(&avio_in);
av_free(avio_out->buffer);
av_freep(&avio_out);
av_free(inbuffer);
av_free(outbuffer);
av_free_packet(&packet);
av_frame_free(&frame);
avformat_close_input(&ifmt_ctx);
avformat_free_context(ofmt_ctx);
//fcloseall();
fclose(fp_open);
fclose(fp_write);
if (ret < 0)
av_log(NULL, AV_LOG_ERROR, "Error occurred.\n");
return (ret ? 1 : 0);
}
结果
一开始会报错：
属性页将 SDL 检查设置为否：
程序的运行结果如下：
输入文件：
输出文件：
工程文件下载
GitHub：UestcXiye / Simplest-FFmpeg-Memory-Transcoder
CSDN：Simplest FFmpeg Memory Transcoder.zip
498
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
