ffmpeg rtmp 封装发送函数_海康sdk捕获码流数据通过JavaCV推成rtmp流的实现思路(PS流转封装RTMP)...

【注意】:对于直播来说,可以采用rtsp-rtmp这种方案来实现。但是对于历史回放功能,采用rtsp指令带starttime和endtime参数来进行回放时,因为nvr带宽限制,会出现带宽不足的错误。所以目前没有想到更好的解决方案。故采用海康sdk二次开发,捕获到直播流或者历史流数据,自己转封装推成rtmp。现项目已经开发完成,主要功能如下:

1.实时预览

2.历史回放

3.断线重连

4.关闭视频流

5.断线续播

6.等若干bug问题

具体功能可参考RtspToRtmp的项目,功能基本一致,但是通过sdk解决了历史回放的问题

https://gitee.com/banmajio/RTSPtoRTMP

增加了部署到Linux环境下的解决方案,服务性能也已通过测试。

考虑到开发成本,暂不准备开源,有需要demo的请加Q:1402325991 联系!

问题分析

通过海康sdk注册回调函数,可以捕获到视频的码流数据。但是因为海康sdk回调的码流数据是ps封装的h264的码流数据,也就是说通过海康sdk可以得到视频的ps流。

转码推rtmp

最开始的时候,找到一个demo,是将海康sdk回调函数中将码流数据的byte[]—>BytePointer—>Mat,然后又通过opencv_imgproc.cvtColor()将yv12的Mat转为rgb的Mat,接着将rgb的Mat转为了Frame帧,最后通过FFmpegFrameRecorder.record(Frame)将帧推送到rtmp地址上。虽然这种方式可以实现我们的需求,但是带来的问题是,cpu占用率极高。大概推三路cpu就占满了。查看JavaCV源码发现FFmpegFrameRecorder.record(Frame)方法会对帧进行编解码的动作,然后将Frame转换为AVPacket。CPU高的原因也正是消耗在了编解码的地方。1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24this.bPointer = new BytePointer(frameBean.getBuffer().length);

this.yv12Mat = new Mat(height + height / 2, width, CV_8UC1);

this.rgbMat = new Mat(height, width, CV_8UC3);

if (this.converter == null) {

this.converter = new ToIplImage();

}

if (this.matConverter == null) {

this.matConverter = new ToMat();

}

// 图像转码-----↓

// 填充指针

this.bPointer.put(frameBean.getBuffer());

// mat填充

this.yv12Mat.data(this.bPointer);

// 转码opencv实现方式

opencv_imgproc.cvtColor(this.yv12Mat, this.rgbMat, opencv_imgproc.COLOR_YUV2BGR_YV12);

// 转换为帧

this.matFrame = this.matConverter.convert(this.rgbMat);

// 图像转码-----↑

try {

this.recorder.record(this.matFrame);

} catch (Exception e) {

e.printStackTrace();

}

PS流转封装

后来在一个技术交流群内了解到,Javacv是可以将PS流转封装为flv格式推到rtmp的。具体的实现思路就是通过Java的管道流,将sdk回调函数中获得的码流数据写入PipedOutputStream中,然后将对应的PipedInputStream当做参数传入到FFmpegFrameGrabber的构造方法中。其余的操作和拉rtsp流推rtmp流大体类似。可以参考JavaCV转封装rtsp到rtmp(无需转码,低资源消耗)。

其中要注意的几点就是:

1.管道流PipedInputStream,PipedOutputStream不可以在同一线程下使用否则会造成死锁。

2.管道流是一种阻塞流,PipedOutputStream.write(byte[])会将数据放到PipedInputStream的缓冲区中,当PipedInputStream将这部分数据read()出去后,PipedOutputStream才会继续write。这个缓冲区的大小默认值时1024。也可以自己手动通过下面的这种方式指定缓冲区大小。1PipedInputStream inputStream = new PipedInputStream(5120);

3.管道流PipedInputStream,PipedOutputStream成对出现,需要将两者建立连接才能正常工作。建立连接有以下两种方式:1

2

3

4

5

6

7

8//第一种方式

PipedInputStream inputStream = new PipedInputStream();

PipedOutputStream outputStream = new PipedOutputStream(inputStream);

//第二种方式

PipedInputStream inputStream = new PipedInputStream();

PipedOutputStream outputStream = new PipedOutputStream();

inputStream.connect(outputStream);

4.推流方式和rtsp推流方式几乎相同

表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
程序员的必经之路! 【限时优惠】 现在下单,还享四重好礼: 1、教学课件免费下载 2、课程案例代免费下载 3、专属VIP学员群免费答疑 4、下单还送800元编程大礼包 【超实用课程内容】  根据《2019-2020年中国开发者调查报告》显示,超83%的开发者都在使用MySQL数据库。使用量大同时,掌握MySQL早已是运维、DBA的必备技能,甚至部分IT开发岗位也要求对数据库使用和原理有深入的了解和掌握。 学习编程,你可能会犹豫选择 C++ 还是 Java;入门数据科学,你可能会纠结于选择 Python 还是 R;但无论如何, MySQL 都是 IT 从业人员不可或缺的技能!   套餐中一共包含2门MySQL数据库必学的核心课程(共98课时)   课程1:《MySQL数据库从入门到实战应用》   课程2:《高性能MySQL实战课》   【哪些人适合学习这门课程?】  1)平时只接触了语言基础,并未学习任何数据库知识的人;  2)对MySQL掌握程度薄弱的人,课程可以让你更好发挥MySQL最佳性能; 3)想修炼更好的MySQL内功,工作中遇到高并发场景可以游刃有余; 4)被面试官打破沙锅问到底的问题问到怀疑人生的应聘者。 【课程主要讲哪些内容?】 课程一:《MySQL数据库从入门到实战应用》 主要从基础篇,SQL语言篇、MySQL进阶篇三个角度展开讲解,帮助大家更加高效的管理MySQL数据库。 课程二:《高性能MySQL实战课》主要从高可用篇、MySQL8.0新特性篇,性能优化篇,面试篇四个角度展开讲解,帮助大家发挥MySQL的最佳性能的优化方法,掌握如何处理海量业务数据和高并发请求 【你能收获到什么?】  1.基础再提高,针对MySQL核心知识点学透,用对; 2.能力再提高,日常工作中的代换新貌,不怕问题; 3.面试再加分,巴不得面试官打破沙锅问到底,竞争力MAX。 【课程如何观看?】  1、登录CSDN学院 APP 在我的课程中进行学习; 2、移动端:CSDN 学院APP(注意不是CSDN APP哦)  本课程为录播课,课程永久有效观看时长 【资料开放】 课件、课程案例代完全开放给你,你可以根据所学知识,自行修改、优化。  下载方式:电脑登录课程观看页面,点击右侧课件,可进行课程资料的打包下载。
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页