FFMpeg.AutoGen(3)实战:解码直播流并保存为MP4文件(未完成)

image

image

image

image

Muxer 视音频复用器

数据结构

AVCodecContext

AVFormateContext

AVFormatContext是API中直接接触到的结构体,位于avformat.h中,是音视频数据,也就是音视频文件(通常接触到的mp3/mp4等文件)的一种抽象和封装,该文件中包含了多路流,包括音频流、视频流、字幕流等。该结构体的使用,贯穿了ffmpeg使用的整个流程。

包含了媒体流的格式信息,比较重要的有:

AVInputFormat或者AVOutputFormat:只能同时存在一个。
AVStream
AVPacket
title、author、copyright、duration、start_time、bit_rate等。

(参考文档【5】)

AVStream

AVStream在FFmpeg使用过程中关于编解码至关重要的结构体之一,是对流(Stream)的封装和抽象,描述了视频、音频等流的编码格式等基本流信息。此外也是音频、视频、字幕数据流的重要载体。

对于一个典型的mp4格式的媒体源(H264)来说,需要经过解封装(解复用),解码然后输出的过程。而解封装从容器中分离出来的流,在FFmpeg中对应的对象就是AVStream。解复用解出来几条AVStream,就会在AVFormateContext中的nb_streams+1(总流数+1),并且将AVStream保存在streams数组中。(参考文档【4】)

PTS:Presentation Time Stamp。PTS主要用于度量解码后的视频帧什么时候被显示出来
DTS:Decode Time Stamp。DTS主要是标识读入内存中的bit流在什么时候开始送入解码器中进行解码

time_base:时间基。它也是用来度量时间的。
如果把1秒分为25等份,你可以理解就是一把尺,那么每一格表示的就是1/25秒。此时的time_base={1,25}
如果你是把1秒分成90000份,每一个刻度就是1/90000秒,此时的time_base={1,90000}。

参考文档:

【1】最简单的基于FFmpeg的封装格式处理:视音频复用器(muxer) 2014-10-09 雷霄骅

【2】新版本ffmpeg源码简单分析:avformat_alloc_output_context2() 2018-12-13 对着天说晚安

【3】avformat_new_stream,传入AVCodec导致的内存泄露(av_mallocz) 2018-04-21 指缝间的风袁

【4】FFmpeg:AVStream结构体分析 2018-05-28 SuperDali

【5】FFmpeg:AVFormatContext结构体分析 2018-05-27 SuperDali

【6】音视频开发第一篇——音视频基础概念。 2018-04-26 SuperDali

【7】FFmpeg源代码简单分析:avio_open2() 2015-03-04 雷霄骅

【8】深入理解pts,dts,time_base 2017-12-11 bixinwei

【9】RTSP再学习 -- 利用FFmpeg 将 rtsp 获取H264裸流并保存到文件中 2017-10-12 聚优致成

【10】ffmpeg中的时间戳与时间基 2018-09-25 李超

尾巴:

26岁雷霄骅先生于16年步入天堂。他留下的ffmpeg教程详细清晰,给我的学习带来很大帮助。虽然人已经不在,但留下的知识至今依旧散发出它的光芒。在此感谢雷霄骅先生分享他的知识。愿“过劳死”远离天下的工程师们。

你可以使用 FFmpeg.AutoGen 库和 .NET 6.0 来将 MP4 转换为视频。下面是一个简单的示例: ```C# using System; using System.Drawing; using System.Drawing.Imaging; using FFmpeg.AutoGen; class Program { static void Main(string[] args) { // 初始化 FFmpegffmpeg.av_register_all(); ffmpeg.avcodec_register_all(); ffmpeg.avformat_network_init(); // 打开 MP4 文件 var inputUrl = "path/to/your/file.mp4"; var inputFormatContext = OpenInputFile(inputUrl); var videoStreamIndex = FindVideoStreamIndex(inputFormatContext); // 查找视频解码器并打开它 var videoCodec = ffmpeg.avcodec_find_decoder(inputFormatContext->streams[videoStreamIndex]->codecpar->codec_id); var videoCodecContext = ffmpeg.avcodec_alloc_context3(videoCodec); ffmpeg.avcodec_parameters_to_context(videoCodecContext, inputFormatContext->streams[videoStreamIndex]->codecpar); ffmpeg.avcodec_open2(videoCodecContext, videoCodec, null); // 创建一个视频 var videoStream = new VideoStream(videoCodecContext->width, videoCodecContext->height); // 读取视频帧并将其写入视频 var packet = ffmpeg.av_packet_alloc(); var frame = ffmpeg.av_frame_alloc(); while (ffmpeg.av_read_frame(inputFormatContext, packet) >= 0) { if (packet->stream_index == videoStreamIndex) { ffmpeg.avcodec_send_packet(videoCodecContext, packet); while (ffmpeg.avcodec_receive_frame(videoCodecContext, frame) == 0) { // 将当前视频帧写入视频 var bitmap = ConvertFrameToBitmap(frame); var frameData = BitmapToByteArray(bitmap); videoStream.Write(frameData); } } ffmpeg.av_packet_unref(packet); } ffmpeg.av_packet_free(&packet); ffmpeg.av_frame_free(&frame); // 关闭输入文件和视频解码ffmpeg.avcodec_close(videoCodecContext); ffmpeg.avcodec_free_context(&videoCodecContext); ffmpeg.avformat_close_input(&inputFormatContext); // 视频写入完成 videoStream.Complete(); } // 打开输入文件 static AVFormatContext* OpenInputFile(string url) { var formatContext = ffmpeg.avformat_alloc_context(); if (ffmpeg.avformat_open_input(&formatContext, url, null, null) != 0) { throw new Exception("Could not open input file."); } if (ffmpeg.avformat_find_stream_info(formatContext, null) < 0) { throw new Exception("Could not find stream information."); } return formatContext; } // 查找视频索引 static int FindVideoStreamIndex(AVFormatContext* formatContext) { for (int i = 0; i < formatContext->nb_streams; i++) { if (formatContext->streams[i]->codecpar->codec_type == AVMediaType.AVMEDIA_TYPE_VIDEO) { return i; } } throw new Exception("Could not find video stream."); } // 将视频帧转换为位图 static Bitmap ConvertFrameToBitmap(AVFrame* frame) { var bitmap = new Bitmap(frame->width, frame->height, PixelFormat.Format24bppRgb); var data = bitmap.LockBits(new Rectangle(0, 0, frame->width, frame->height), ImageLockMode.WriteOnly, PixelFormat.Format24bppRgb); ffmpeg.av_image_copy_to_buffer((byte**)data.Scan0, data.Stride * data.Height, frame->data, frame->linesize, (AVPixelFormat)frame->format, frame->width, frame->height, 1); bitmap.UnlockBits(data); return bitmap; } // 将位图转换为字节数组 static byte[] BitmapToByteArray(Bitmap bitmap) { var encoder = new JpegBitmapEncoder(); encoder.Frames.Add(BitmapFrame.Create(bitmap)); using (var stream = new MemoryStream()) { encoder.Save(stream); return stream.ToArray(); } } } ``` 在这个示例中,我们使用 FFmpeg.AutoGen 库来打开 MP4 文件,并从视频中读取每一帧。对于每一帧,我们将其转换为位图,然后将位图转换为字节数组,并将其写入视频中。 请注意,这只是一个简单的示例,你可能需要根据你的具体需求进行修改。另外,由于 FFmpeg.AutoGen 库是一个底层库,需要一定的编程经验才能使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值