JavaCV-FFmpeg软封装多线程实现录制或推送rtsp流

本文介绍了使用JavaCV和FFmpeg进行rtsp流录制和推流的实现,重点是通过AvPacket实现转封装,并采用多线程优化,显著降低了CPU和内存消耗。在录制过程中,遇到DTS非递增问题并提供了解决方案,同时分享了相关参考资料。
摘要由CSDN通过智能技术生成


前言

在一个月之前,有使用过FFmpeg录制过rtsp流的视频。但由于使用的是Frame来录制视频,会极大的消耗CPU和内存(CPU约为200%+,内存约为2.3G)。经研究得知grabber.grabFrame()会经过解码得到Frame,在record(frame)时又会通过编码生成对应的视频文件。
而如果使用AvPacket(转封装)来实现,在转封装的基础上还用到了多线程分别多拉流和推流进行处理。录制一个20Min的视频占用CPU约为5%,内存为200M
大概捣鼓了一个星期,终于弄好了。在此记录以下实现的方式和想法~

进程监控的截图,性能提升还是非常明显的!
在这里插入图片描述


一、JavaCV和FFmpeg是什么?

JavaCV: Java视觉处理库,里面有很多很多的工具,包括了音视频相关的FFmpeg。可以通过JNI的方式直接调用方法
FFmpeg:Fmpeg 是领先的多媒体框架,能够解码、编码、转码、混合、解密、流媒体、过滤和播放人类和机器创造的几乎所有东西。关键FFmpeg开源!

二、录制和推流如何实现?

此处以RTSP流实现录制和推流为例

  • 录制:拉流->录制,这样就可以将RTSP的流转为MP4或AVI的视频文件
  • 推流:拉流->推流(推送RTMP流到nginx流媒体服务器),一般来说推一路RTMP到流媒体服务器,可以出RTMP和HttpFlv的流。这样就可以实现在浏览器通过flv.js来播放实时视频了。

实际测试,推流方式的延迟为1~2s
tips:
1.nginx本身是不支持流媒体的,要安装官方插件nginx-http-flv-module
2.在拉流的时候尽量不要做耗时操作,这会导致非常严重的调帧
3.使用FFmpeg的录制器推流时,Frame和AvPacket均可实现。Frame方便简单(无需关心PTS、DTS和帧的类型),直推即可,但因多了编解码过程性能较差。AvPacket性能好,但要考虑对齐Packet的PTS和DTS,不然无法正确推流

三、遇到的问题

1.录制的视频无法播放
A:大概率是没有正确关闭抓取器Grabber或录制器Recoder,一定要保证录制结束后先关闭grabber再关闭recoder。

2.non monotonically increasing dts to muxer in stream(流中的DTS为非递增)

第一种方法:在grabber.start()之后调用grabber.flush()

查看源码可已发现,其实是多次抓帧进行初始化
grab方法的实现:

public void flush() throws FrameGrabber.Exception {
   
        for(int i = 0; i < this.numBuffers + 1; ++i) {
   
            this.grab();
        }
    }
实际调用的为FFmpegFrameGrabber中的grabFrame(true, true, true, false, true)方法,这样会导致丢失首个I帧关键帧,从而花屏。

在这里插入图片描述

第二种方法:拿到AvPacket后,自己处理PTS和DTS。目前我就是用的这种方式,具体实现可见下面代码

四、如何实现

代码我自认为还是比较规范的,应该不需要注释也能看懂~~
为了不影响拉流时因处理视频而掉帧,此处使用多线程进行了优化

1.局部变量

    ExecutorService threadPool = Executors.newFixedThreadPool(3);
    Semaphore semaphore = new Semaphore(0);
    private static final ArrayBlockingQueue<AVPacket> blockingQueue = new ArrayBlockingQueue<>(60);
    private 
Java中,使用FFmpegJavaCV库可以很容易地实现器的功能。收器可以接收来自RTSP或RTMP服务器的视频,并保存为视频文件。以下是一个基于JavaCV-FFmpeg的简单实现。 首先需要添加JavaCVFFmpeg的依赖。可以在Maven中使用以下依赖: ``` <dependency> <groupId>org.bytedeco</groupId> <artifactId>javacv-platform</artifactId> <version>1.5.4</version> </dependency> ``` 接下来是收器的实现代码: ```java import org.bytedeco.javacv.FFmpegFrameGrabber; import org.bytedeco.javacv.Java2DFrameConverter; import org.bytedeco.javacv.JavaFXFrameConverter; import java.awt.image.BufferedImage; import java.io.File; public class StreamReceiver { private FFmpegFrameGrabber grabber; private Java2DFrameConverter frameConverter; private JavaFXFrameConverter fxConverter; private boolean isRunning = false; public void start(String streamUrl, String outputFile) { try { grabber = new FFmpegFrameGrabber(streamUrl); grabber.start(); frameConverter = new Java2DFrameConverter(); fxConverter = new JavaFXFrameConverter(); isRunning = true; while (isRunning) { BufferedImage image = frameConverter.convert(grabber.grab()); if (image != null) { fxConverter.convert(image); } } grabber.stop(); grabber.release(); } catch (Exception e) { e.printStackTrace(); } } public void stop() { isRunning = false; } public static void main(String[] args) { StreamReceiver receiver = new StreamReceiver(); receiver.start("rtmp://live.hkstv.hk.lxdns.com/live/hks", "output.mp4"); } } ``` 在这个实现中,`start`方法会创建一个`FFmpegFrameGrabber`对象,并使用给定的`streamUrl`开始抓取。然后使用`Java2DFrameConverter`将抓取的帧转换为`BufferedImage`对象,最后使用`JavaFXFrameConverter`将`BufferedImage`转换为JavaFX中的`Image`对象。在循环中,我们检查`BufferedImage`是否为空,以确保我们只保存有内容的帧。最后,当`stop`方法被调用时,循环中止并关闭抓取器。 可以通过调用`StreamReceiver`的`start`方法启动收器,并使用RTMP或RTSP URL作为参数。收器将不断抓取视频,并将其保存到指定的输出文件中。
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值