EasyPlayer Android基于ffmpeg实现播放（RTSP/RTMP/HTTP/HLS）同步录像功能

最新推荐文章于 2023-06-20 15:46:30 发布
最新推荐文章于 2023-06-20 15:46:30 发布
阅读量2.6k 收藏 1
点赞数 2
分类专栏： EasyPlayer 文章标签： 安卓播放器 Android播放器 EasyPlayer ijk-录像 EasyDarwin

之前有博客专门介绍了EasyPlayer的本地录像的功能,简单来说,EasyPlayer是一款RTSP播放器,它将RTSP流里的音视频媒体帧解析出来,并用安卓系统提供的MediaMuxer类进行录像.那EasyPlayerPro可以这样实现吗?答案是不太现实,因为Pro支持绝大多数的流媒体协议,并不单单是RTSP协议,包括hTTP\RTSP\RTMP\HLS\FILE等格式都支持.要将这些数据分别解析出来并抛给上层,并不合适.EasyPlayerPro最终是基于FFMPEG来做的媒体流的解析(demux),既然用FFMPEG来demux,那同样也可以基于FFMPEG来实现录像.录像在FFMPEG里面,就是mux的过程.

作者参考了ffmpeg mux的相关代码,在Pro上成功实现了播放同时的录像功能.现在尚处于测试阶段,此文亦起到一个记录与总结的目的.

EasyPlayerPro是参考ffplay的实现,开启专门的接收线程来接收和解析音视频媒体帧.我们可以在收到媒体帧后进行MUX操作.

Created with Raphaël 2.1.0 av_read_frame av_read_frame av_interleaved_write_frame av_interleaved_write_frame MUX

在接收线程中,我们可以设置一个录像标志位:recording.我们设定该值为0的话表示未在录像;1表示要启动录像;2表示录像正在启动,等待关键帧;大于2表示正在录像正在启动中.这里不再多说了,结合代码来做叙述.
请看相关代码以及注释:

接收线程读取媒体帧.

ret = av_read_frame(ic, pkt);
if (ret < 0) {
    .. // error handle
}

录像开始

外部线程更改read thread的recording状态量来控制录像的状态.录像开始时,将状态位设置为1,这时read thread会进行录像的一些初始化操作:

START_RECORDING:
    if (is->recording == 1){    // 录像即将启动
        do
        {
            // 首先我们判断一下,当前如果是视频的话,需要为关键帧.
            av_log(NULL, AV_LOG_INFO, "try start record:%s", is->record_filename);
            AVStream *ins = ic->streams[pkt->stream_index];
            if (ins->codec->codec_type == AVMEDIA_TYPE_VIDEO ){
                av_log(NULL, AV_LOG_DEBUG, "check video  key frame.");
                if (!(pkt->flags & AV_PKT_FLAG_KEY)){   // 不是关键帧,跳出录像块.下次继续尝试.
                    av_log(NULL,AV_LOG_WARNING,"waiting for key frame of video stream:%d.", pkt->stream_index); 
                    break;
                }
                is->recording++;
            }
            // 至此,已经找到了首个关键帧,录像可以启动了.
            av_log(NULL, AV_LOG_INFO, "start record:%s", is->record_filename);
            // 创建AVFormatContext,作为录像的Context
            avformat_alloc_output_context2(&o_fmt_ctx, NULL, NULL, is->record_filename);
            if (!o_fmt_ctx){    // 创建失败.
                is->recording = 0;
                av_log(NULL, AV_LOG_WARNING, "avformat_alloc_output_context2 error");
                o_fmt_ctx = is->oc = NULL;
                goto START_RECORDING;
            }
            ofmt = o_fmt_ctx->oformat;
            // 在这里遍历所有的媒体流
            for (i = 0; i < ic->nb_streams; i++) {  
                // 目前MP4Muxer支持的AV_CODEC类型,我们在这里判断下,加一些打印日志.这些代码摘自FFMPEG的muxer部分
                AVStream *in_stream = ic->streams[i];  
                AVCodecParameters *par = in_stream->codecpar;
                unsigned int tag = 0;            
                if      (par->codec_id == AV_CODEC_ID_H264)      tag = MKTAG('a','v','c','1');
                else if (par->codec_id == AV_CODEC_ID_HEVC)      tag = MKTAG('h','e','v','1');
                else if (par->codec_id == AV_CODEC_ID_VP9)       tag = MKTAG('v','p','0','9');
                else if (par->codec_id == AV_CODEC_ID_AC3)       tag = MKTAG('a','c','-','3');
                else if (par->codec_id == AV_CODEC_ID_EAC3)      tag = MKTAG('e','c','-','3');
                else if (par->codec_id == AV_CODEC_ID_DIRAC)     tag = MKTAG('d','r','a','c');
                else if (par->codec_id == AV_CODEC_ID_MOV_TEXT)  tag = MKTAG('t','x','3','g');
                else if (par->codec_id == AV_CODEC_ID_VC1)       tag = MKTAG('v','c','-','1');
                else if (par->codec_id == AV_CODEC_ID_DVD_SUBTITLE)  tag = MKTAG('m','p','4','s');
                av_log(NULL, AV_LOG_INFO, "par->codec_id:%d, tag:%d\n", par->codec_id, tag);
                if (tag == 0) {
                    // 这个CODEC不支持,打印下.
                    av_log(NULL, AV_LOG_WARNING, "unsupported codec codec_id:%d\n", par->codec_id);
                    // continue;
                }
            // av_log(NULL, AV_LOG_INFO, "-ffplay : %d", __LINE__);
                //Create output AVStream according to input AVStream  
                if(ic->streams[i]->codec->codec_type ==AVMEDIA_TYPE_VIDEO){     // 这个是视频帧
                    // 我们在这里检查一下宽\高是否合法.
                    if ((par->width <= 0 || par->height <= 0) &&
                        !(ofmt->flags & AVFMT_NODIMENSIONS)) {
                        av_log(NULL, AV_LOG_ERROR, "dimensions not set\n");
                        continue;
                    }
                    // 加入视频流至Muxer.
                    AVStream *out_stream = avformat_new_stream(o_fmt_ctx, in_stream->codec->codec);
                    // 将视频流的一些参数拷贝到muxer.
                    if (avcodec_copy_context(out_stream->codec, in_stream->codec) < 0) {
                        // 失败了,做一些错误处理\释放.
                        // printf( "Failed to copy context from input to output stream codec context\n");  
                        av_log(NULL, AV_LOG_WARNING,
                            "Failed to copy context from input to output stream codec context\n");
                        is->recording = 0;
                        avformat_free_context(o_fmt_ctx);
                        o_fmt_ctx = is->oc = NULL;
                        goto START_RECORDING;  
                    }
                    // av_log(NULL, AV_LOG_INFO, "-ffplay:%d out_stream:%p, in_stream:%p", __LINE__, out_stream->codec, in_stream->codec);
                    out_stream->codec->codec_tag = 0;  
                    if (o_fmt_ctx->oformat->flags & AVFMT_GLOBALHEADER)  
                        out_stream->codec->flags |= CODEC_FLAG_GLOBAL_HEADER;  
                    av_log(NULL, AV_LOG_INFO, "-ffplay : %d video added", __LINE__);
                }else if(ic->streams[i]->codec->codec_type==AVMEDIA_TYPE_AUDIO){  //    这个是音频帧
                    av_log(NULL, AV_LOG_INFO, "-ffplay : %d", __LINE__);
                    // 我们检查下采样率是否合法?
                    if (par->sample_rate <= 0) {
                        av_log(NULL, AV_LOG_ERROR, "sample rate not set\n");
                        continue;
                    }
                    // 加入音频流至Muxer.
                    AVStream *out_stream = avformat_new_stream(o_fmt_ctx, in_stream->codec->codec);  
                    // 将音频流的一些参数拷贝到muxer.
                    if (avcodec_copy_context(out_stream->codec, in_stream->codec) < 0) {
                        // 失败了,做一些错误处理\释放.
                        av_log(NULL, AV_LOG_WARNING,
                            "Failed to copy context from input to output stream codec context 2\n"); 
                        is->recording = 0;
                        avformat_free_context(o_fmt_ctx);
                        o_fmt_ctx = is->oc = NULL;
                        goto START_RECORDING;
                    }  
                    out_stream->codec->codec_tag = 0;  
                    if (o_fmt_ctx->oformat->flags & AVFMT_GLOBALHEADER)  
                        out_stream->codec->flags |= CODEC_FLAG_GLOBAL_HEADER;
                    av_log(NULL, AV_LOG_INFO, "-ffplay : %d audio added", __LINE__);
                }    
            }  
            // 至此,AVFormatContext里面应该至少含有一条流了.否则录像也算没有启动.
            if (o_fmt_ctx->nb_streams < 1){ 
                av_log(NULL, AV_LOG_WARNING,
                    "NO available stream found in muxer \n"); 
                is->recording = 0;
                avformat_free_context(o_fmt_ctx);
                o_fmt_ctx = is->oc = NULL;
                goto START_RECORDING;
            }
            // 下面开始创建文件
            if (!(ofmt->flags & AVFMT_NOFILE)){
                av_log(NULL, AV_LOG_INFO, "-ffplay : %d AVFMT_NOFILE", __LINE__);
                if (avio_open(&o_fmt_ctx->pb, is->record_filename, AVIO_FLAG_WRITE) < 0) {  
                    // 出错了,错误处理.
                    av_log(NULL,AV_LOG_WARNING, "Could not open output file '%s'", is->record_filename);
                    is->recording = 0;
                    avformat_free_context(o_fmt_ctx);
                    o_fmt_ctx = is->oc = NULL;
                    goto START_RECORDING;
                }  
            } 
            // 下面写入header. Allocate the stream private data and write the stream header to an output media file.
            int r = avformat_write_header(o_fmt_ctx, NULL);
            if (r < 0) {    // error handle    
                av_log(NULL,AV_LOG_WARNING, "Error occurred when opening output file:%d\n",r);
                is->recording = 0;
                avformat_free_context(o_fmt_ctx);
                o_fmt_ctx = is->oc = NULL;
                goto START_RECORDING;
            }  
            // 输出一下OUTPUT格式.
            av_dump_format(o_fmt_ctx, 0, is->record_filename, 1);
            // 将标志位改为2,表示录像已经启动.开始等待关键帧.
            is->recording = 2;
        }
        while(0);            
    }

录像中

当录像初始化完成后,状态量会变为2,状态改为录像中:

    do{
        if (is->recording >= 2){
            // 忽略未被加入的stream
            if (pkt->stream_index >= o_fmt_ctx->nb_streams)
            {
                av_log(NULL,AV_LOG_WARNING,"stream_index large than nb_streams %d:%d\n", pkt->stream_index,  o_fmt_ctx->nb_streams); 
                break; 
            }

            AVStream *ins = ic->streams[pkt->stream_index];
            av_log(NULL,AV_LOG_DEBUG,"before write frame.stream index:%d, codec:%d,type:%d\n", ins->index, ins->codec->codec_id,  ins->codec->codec_type); 
            if(is->recording == 2)  // 等待关键帧..
            if (ins->codec->codec_type == AVMEDIA_TYPE_VIDEO ){
                av_log(NULL, AV_LOG_DEBUG, "check video  key frame.");
                if (!(pkt->flags & AV_PKT_FLAG_KEY)){
                    av_log(NULL,AV_LOG_WARNING,"waiting for key frame of video stream:%d.", pkt->stream_index); 
                    break;
                }
                // 表示关键帧得到了.
                is->recording++;
            }
            // 将接收到的AVPacket拷贝一份
            AVPacket *newPkt = av_packet_clone(pkt);
            AVStream *in_stream, *out_stream; 
            in_stream  = ic->streams[newPkt->stream_index];
            out_stream = o_fmt_ctx->streams[newPkt->stream_index];
            // 下面转换一下PTS和DTS.这几句的意思大概是,将原先以输入的time_base为基准的时间戳转换为以输出的time_base为基准的时间戳,
            // 要把这几句加上,最终录像时间戳才正常..
            //Convert PTS/DTS  
            newPkt->pts = av_rescale_q_rnd(newPkt->pts, in_stream->time_base, out_stream->time_base, AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX);
            newPkt->dts = av_rescale_q_rnd(newPkt->dts, in_stream->time_base, out_stream->time_base, AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX);
            newPkt->duration = av_rescale_q(newPkt->duration, in_stream->time_base, out_stream->time_base);  
            // 下面开始写入AVPacket.
            int r;
            if (o_fmt_ctx->nb_streams < 2){ // 如果只有视频或只有音频,那直接写入
                r = av_write_frame(o_fmt_ctx, newPkt); 
            }else {                         // 多条流的情况下,调用av_interleaved_write_frame,内部会做一些排序,再写入.
                r = av_interleaved_write_frame(o_fmt_ctx, newPkt);
            }
            if (r < 0) {
                printf( "Error muxing packet\n");  
                break;
            }
        }
    }while(0);

停止录像

外部控制recording状态量,置为0时,表示要停止录像了.这时候做一些反初始化的工作:

    if (is->recording == 0){    // 要停止录像了.
        if (o_fmt_ctx != NULL){
            av_log(NULL, AV_LOG_INFO, "stop record~~~~~~~");
            // 一定要先写入trailer
            av_write_trailer(o_fmt_ctx);
            // 释放context
            avformat_free_context(o_fmt_ctx);
            o_fmt_ctx = is->oc = NULL;
        }
    }

EasyPlayerPro下载地址：https://fir.im/EasyPlayerPro

相关介绍见：http://www.easydarwin.org/article/news/117.html

获取更多信息

邮件：support@easydarwin.org

WEB：www.EasyDarwin.org

QQ交流群：587254841

Copyright © EasyDarwin.org 2012-2017

EasyDarwin

xiejiashu
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
android ffmpeg rtsp播放
12-27
android 移值ffmpeg源码，实现了ffmpeg实时播放rtsp等文件
android集成EasyPlayer播放器播放实时流媒体视屏
LiHao_Android的博客
08-10 2905
android集成EasyPlayer播放器播放实时流媒体视屏 最近公司项目需要实现一个rtsp实时流媒体视频的播放，在移动端尝试了多个第三方能播放rtsp流实时视频的软件后发现EasyPlayer的实时性较好，画面、声音也都还可以。所以，今天记录一下自己的成果。第一次写。。 EasyPlayer是由EasyDarwin开源团队开发和维护的一个流媒体播放器项目，目前有RTSP版和Pro
EasyPlayer显示模式设置
jyt0551的博客
12-25 2202
一般对于一个播放器,应该支持如下几种显示模式: 等比例,最大化区域显示,不裁剪 等比例,最大区域显示,裁剪 拉伸显示,铺满全屏 要实现这几种显示模式,其实只要对播放控件的布局进行些许调整即可.那EasyPlayer是怎么实现的呢? EasyPlayer使用一个PlayFragment进行视频播放.该类实现了一个setScaleType的方法来进行显示模式设定(或切换).public void se
EasyPlayer：安卓播放器Android MediaMuxer录像（支持G711音频）支持MP4、音视频同步
TSINGSEE青犀视频官方技术博客
05-28 1122
Android平台的MediaMuxer是个非常好的录像库，它能将H.264视频+AAC音频存储成.mp4格式的文件，而且稳定性、同步效果都非常好。MediaMuxer在安卓版的EasyPlayer和EasyPusher都用到了该方法来进行本地录像。
EasyPlayer_Android RTSP安卓播放器直播画面卡在第一帧问题修复
weixin_30296405的博客
08-19 297
最近发现某些Android安卓手机在运行EasyPlayer播放视频时,会停留在第一帧画面,虽然有码率预示着接收端没有问题,但是画面却卡着不动. 一般来讲,这个现象有三种原因导致: 没有接收到视频帧; 解码器出错,只解出了第一帧图像; 时间戳计算有误,导致长时间sleep; 那逐一排查下.首先在媒体帧回调的地方下个断点,发现的确有视频帧接收到,并且视...
EasyPlayerPro基于FFMPEG实现播放同时进行录像的功能
jyt0551的博客
07-09 1790
之前有博客专门介绍了EasyPlayer的本地录像的功能,简单来说,EasyPlayer是一款RTSP播放器,它将RTSP流里的音视频媒体帧解析出来,并用安卓系统提供的MediaMuxer类进行录像.那EasyPlayerPro可以这样实现吗?答案是不太现实,因为Pro支持绝大多数的流媒体协议,并不单单是RTSP协议,包括hTTP\RTSP\RTMP\HLS\FILE等格式都支持.要将这些数据分别解
基于FFmpeg和Android的音视频同步播放实现
老王的技术博客
06-23 3756
前言 在以前的博文中，我们通过FFmpeg解码，并基于OpenGL ES完成了视频的渲染，也完成了基于OpenSL ES实现的native音频注入播放。 本文将这两部分代码进行合并，并实现音视频的同步播放。 实现需求 基于FFmpeg实现视频解码，并通过OpenGL ES进行渲染； 基于OpenSL ES进行PCM注入播放； 播放时进行音视频同步； 关于音视频同步原理 本文不...
为 Android 编译并集成 FFmpeg 的尝试与踩坑
yinshipin007的博客
06-20 721
前言与环境说明初步目标是使用 FFmpeg 实现 Android 内简单的视频剪辑、添加背景音乐、添加字幕等功能，由于本人初学 Android 开发，能力有限，基础薄弱，无法较为全面地深入学习过程中遇到的问题，文章中可能掺杂有一些知其然而不知其所以然的部分或一些不恰当不精确的个人理解，还请见谅。设备：macOS Big Sur 11.6 (Apple Silicon M1)FFmpeg 版本：4.4开发环境：目前 NDK 在苹果芯片下仍只能使用 Rosetta 2 转译后进行使用。
解决Android平台移植ffmpeg的一些问题
好记性不如写博客！
05-10 2551
转自 http://blog.csdn.net/moruite/article/details/6305944 IT行业是一个踩在巨人肩膀上前进的行业，否则做的事情不一定有意义，所以我也是基于havlenapetr移植的ffmpeg基础上做了些改进，他做的主要贡献有： 1. 移植了ffmpeg并将与媒体相关的结构体在java层重新进行了封装，方便应用程序在java层直接操作
EasyPlayer实现播放时同步录像的功能
jyt0551的博客
03-03 2746
在之前一片博客《 EasyPusher实现安卓Android手机直播推送同步录像功能》（http://blog.csdn.net/jyt0551/article/details/58714595）中,我写到了EasyPusher推送的同时进行本地存储的功能,我们今天来介绍下EasyPlayer保存本地录像的功能。EasyPlayer同样是运用MediaMuxer进行录像的，与EasyPusher不同
FFmpeg的基本使用，实现一个录屏并播放的功能
06-05
本程序可以实现短视频的录制和播放，比较基本的一些东西，没有使用FFmpeg的动态库，而是使用调用static库里的ffmpeg.exe实现录制选中的屏幕。
java实现rtsp/rtmp转m3u8/flv/hls/mp4等实现web直播和回放
08-20
java实现rtsp/rtmp转m3u8/flv/hls/mp4等实现web直播和回放，对海康/大华等硬盘录像兼容，也可以直接对接摄像头
国标28181平台支持上下级级联支持rtsp/rtmp/HLS输出
04-12
 21、支持rtmp和hls会话一直保留  22、支持报警消息（设备上线、下线和设备端报警）通过httpclient方式主动通知  23、支持公网和局域网同时存在  24、支持httpserver，接口支持http+json  25、支持设备上线...
.net c# .netcore 视频解码源程序 基于ffmpeg rtsp rtmp 摄像头实时解码，实时播放 控制 存储，转
04-06
.net c# .netcore 视频解码源程序 基于ffmpeg rtsp rtmp 摄像头实时解码，实时播放 控制 存储，转换 源码 海康 合普 大华等摄像头的实时转码 实时播放，格式转换 core 跨平台
FFmpeg+Nginx海康大华威视rtsp转rtmp
12-05
nginx-rtmp-ffmpeg集合 查看相关文章：http://javame.cnblogs.com 有问题加我
rtsp2rtmpServer
07-23
利用ffmpeg实现获取rtsp视频，并推送到Nginx-rtmp流媒体服务，从而支持从客户端以rtmp、hls方式浏览视频。
Java-GUI介绍和使用
最新发布
04-18
GUI API包含的类分为三个部分:组件类(component class) 容器类(container class),和辅助类(helper class) 1. 组件类是用来创建用户图形界面的,例如JButton,JLabel,JTextField. 2. 容器类是用来包含其他组件的,例如JFrame,JPanel 3. 辅助类是用来支持GUI组件的,例如Color,Font
汉诺塔c语言递归.zip
04-18
汉诺塔c语言递归
mybatis-plus-core-3.0.6.jar
04-18
mybatis-plus-core.jar 各个版本，免费下载， mybatis-plus-core.jar 是 MyBatis 的增强工具核心包。免费下载 。 MyBatis-Plus(简称 MP)，是一个 MyBatis 的增强工具包，只做增强不做改变，为简化开发工作、提高生产率而生。
将rtsp视频转换为支持的格式如HLS或者RTMP
05-26
好的，您可以使用FFmpeg工具将RTSP视频流转换为HLS或RTMP格式。以下是一些示例命令： 将RTSP视频流转换为HLS格式： ffmpeg -i rtsp://example....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值