Android 使用Ffmpeg播放高清视频(采用EGL/shader渲染,支持软硬件解码,断线重连),并接入OpenCv。

本文详细介绍了如何在Android上使用Ffmpeg进行高清视频播放,包括支持软硬件解码和断线重连。通过JNI和OpenGL shader渲染,结合OpenCV进行图像处理。首先,文章讲解了如何编译Ffmpeg源码,然后阐述了Ffmpeg的解码流程,如初始化、打开视频流、寻找解码器、读取数据和解码帧数据。最后,展示了关键代码片段和代码地址。
摘要由CSDN通过智能技术生成

之前有篇博客简单写过如何用Ffmpeg解码视频流,当时只用软件码。后面通过项目历练及各种优化,加入了各种硬解码和软解码,并实现与openCv的对接,使其具有项目意义。在此之前,希望你又一些基础的JNI编程知识,比如配置CmakeList以及知道如何build。

本文中重点主要有openGL shader渲染过程,Ffmpeg解码流程,JNI多线程以及如何回调数据到Java。

第一步:编译Ffmpeg源码,目前个人编译的是Ffmpeg3.4版本,注意Android端编译需要支持NEON加速和硬解码配置,并在源码中修改默认缓存大小(源码中默认为65535,可改成65535*5),使用的交叉编译器为ndk-r14b(之前试过用16的版本,发现缺少某些头文件,所以改成了14的版本)。具体编译不多说,读者可以直接使用已经编译好的so文件,在Demo中会给出。

第二步:Ffmpeg的使用流程:

1.初始化:

注册解码器,avcodec_register_all(); 创建上下文,分配解码内存空间;

2.打开视频流:

avformat_open_input(),支持UDP和TCP方式,以及参数配置;

3.找到视频流:

avformat_find_stream_info,文章主要针对于视频,所以略过音频部分,此方法可以获取视频数据的宽度和高度。

4.寻找解码器:

avcodec_find_decoder_by_name(),用于硬解码,支持H264,H265,MPEG
使用 OpenCV 播放 RTSP 视频流,您需要用 FFmpeg 获取视频流,并将每一帧转换为 OpenCV 可读取的格式。以下是一个简单的 Python 代码示例,展示了如何使用 FFmpegOpenCV 播放 RTSP 视频流: ```python import cv2 import ffmpeg # RTSP 地址 url = 'rtsp://xxx.xxx.xxx.xxx:xxxx' # 使用 FFmpeg 获取视频流 stream = ffmpeg.input(url) stream = ffmpeg.output(stream, 'pipe:', format='rawvideo', pix_fmt='rgb24') process = ffmpeg.run_async(stream, pipe_stdout=True) # 使用 OpenCV 播放视频流 while True: # 读取一帧视频流 in_bytes = process.stdout.read(1920*1080*3) if not in_bytes: break # 将视频流转换为 OpenCV 格式 frame = numpy.frombuffer(in_bytes, numpy.uint8).reshape([1080, 1920, 3]) # 显示视频帧 cv2.imshow('frame', frame) if cv2.waitKey(1) & 0xFF == ord('q'): break # 释放资源 process.stdout.close() cv2.destroyAllWindows() ``` 在这个示例中,我们首先使用 FFmpeg 获取 RTSP 视频流,并将其转换为裸视频流格式(rawvideo),然后通过管道(pipe)将视频流传输给 OpenCV。在循环中,我们不断读取视频帧,并将其转换为 OpenCV 可读取的格式,最后使用 `cv2.imshow()` 函数显示视频帧。 需要注意的是,这个示例仅适用于 RGB24 格式的视频流,如果您需要处理其他格式的视频流,可能需要修改一些参数和代码。另外,这个示例还没有加入异常处理和错误处理,您需要自行添加以保证程序的稳定性和可靠性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值