android javacv直播,无插件即时视频播放

基于项目的需求，因为在我们实际的应用场景中，每个楼宇至少有100个摄像头，如果接入50个楼宇的话，就会有5000多个摄像头，如果是后端将所有的摄像头数据全部转换的话，会消耗大量的CPU和网络IO，而且也会产生很多的临时的m3u8文件，因此性能上一个很大的瓶颈。基于此，因此，需要设计一种即时查看IP Camera的方式，当用户浏览时，服务器进行RTSP流到HLS的转换，当不浏览时，即停止转换。在我们的场景中，当鼠标用户点击摄像头图标时，即开始浏览，当用户关闭浏览窗口时，则停止转换。

实现方案

因此为了实现这个问题，必须首先解决如何优雅的启动和停止Ffmpeg的视频流转换的问题，然后再把它包装成restful service即可以满足需求，先给出两种实现方案。

方案一、基于javacv实现视频流的转换

JavaCV首先提供了计算机视觉领域研究人员常用的函数库的封装：包括OpenCV, FFmpeg, libdc1394, PGRFlyCapture, OpenKinect, videoInput, 和 ARToolKitPlus库，其中FFmpeg库的封装我们可以用来进行视频的转换。详细的文章可以参考

https://blog.csdn.net/eguid_1/article/details/52678775

视频的转换比较简单，不考虑音频的转换。

增加依赖

使用开源库https://github.com/bytedeco/javacv的javacv库， 首先引入此库。

org.bytedeco

javacv-platform

1.5.3

视频流转码

javacv的使用实例可以参考网站

https://www.codota.com/code/java/classes/org.bytedeco.javacv.FFmpegFrameGrabber

，里面有很多实例可以参考，下面的代码片段是一个简单的实例，实现转码。/**

* Record video frame by frame

*

* @Param inputFile- The address can be webcast / taped address, or a remote / local file path

* @param outputFile

* - This address is only an address file, if you use this method to push the streaming media server will complain, because there is no set encoding format

* @throws FrameGrabber.Exception

* @throws FrameRecorder.Exception

* @throws org.bytedeco.javacv.FrameRecorder.Exception     */

public static void frameRecord(String inputFile, String outputFile, int audioChannel)

throws Exception, org.bytedeco.javacv.FrameRecorder.Exception {

boolean start = true; // this variable is recommended to set a global control variable for controlling the recording ends

// Get video source

FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(inputFile);

// streaming output address resolution (length, height), whether the recorded audio (0: not record / 1: record)

FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(outputFile, 1280, 720, audioChannel);

// start taking video source

recordByFrame(grabber, recorder, isStart);

}

private static void recordByFrame(FFmpegFrameGrabber grabber, FFmpegFrameRecorder recorder, Boolean status)

throws Exception, org.bytedeco.javacv.FrameRecorder.Exception {

try {

// This method is recommended in thread

grabber.start();

recorder.start();

Frame frame = null;

while (status&& (frame = grabber.grabFrame()) != null) {

recorder.record(frame);

}

recorder.stop();

grabber.stop();

} finally {

if (grabber != null) {

grabber.stop();

}

}

}

测试转码public static void main(String[] args)

throws FrameRecorder.Exception, FrameGrabber.Exception, InterruptedException {

String inputFile = "rtsp://admin:!honeywell1@192.168.100.55:554/cam/realmonitor?channel=1&subtype=0";

// Decodes-encodes

String outputFile = "recorde.mp4";

frameRecord(inputFile, outputFile,1);

}

方案二、基于开源rtsp-stream实现视频流的转换

rtsp-stream是一个易于使用，为已有的系统提供在浏览器中播放原始的RTSP流的现成解决方案。它提供了视频流的启动，停止转码的方法以及获取视频列表的服务，并提供了用户认证和授权功能。github网站：

https://github.com/Roverr/rtsp-stream

API 列表

它提供的服务如下：/start - 启动流转换

/stream/{id} - 获取视频流

/list - 获取视频流列表/stop - 停止流转换

认证

rtsp-stream为每个service提供了无认证和JWT认证两种方式，可以跟存在的系统中进行认证服务对接。默认是无认证方式,对于是私有网络，用户无法在internet下访问到此服务，相对安全，可以采用无认证方式，如果在internet环境下一定需要有认证设置。

认证相关的环境变量设置如下：

Env variableDescriptionDefaultTypeRTSP_STREAM_AUTH_JWT_ENABLEDIndicates if the service should use the JWT authentication for the requestsfalsebooleanRTPS_STREAM_AUTH_JWT_SECRETThe secret used for creating the JWT tokensmacilacistringRTSP_STREAM_AUTH_JWT_PUB_PATHPath to the public shared RSA key./key.pubstringRTSP_STREAM_AUTH_JWT_METHODCan be secret or rsa. Changes how the application does the JWT verification.secretstring

API介绍

POST /start

启动对视频流进行转换。请求参数：RTSP uri和alias。其中alias是可选参数。Requires payload:{

"uri": "rtsp://username:password@host",

"alias": "camera1"

}

Response:{

"uri": "/stream/id/index.m3u8",

"running": true,

"id": "id",

"alias": "camera1"

}

GET /stream/{id}/*file视频流的HLS的块文件。浏览器会基于给定m3u8文件获取流的块文件。比如，http://localhost:8080/stream/bd761e69-af21-4e70-9fed-7f2f9032fa61/index.m3u8

http://localhost:8080/stream/bd761e69-af21-4e70-9fed-7f2f9032fa61/1654.ts

http://localhost:8080/stream/bd761e69-af21-4e70-9fed-7f2f9032fa61/1655.ts

http://localhost:8080/stream/bd761e69-af21-4e70-9fed-7f2f9032fa61/1656.ts

GET /list

获取当前的视频列表。Response:[

{

"running": true,

"uri": "/stream/9f4fa8eb-98c0-4ef6-9b89-b115d13bb192/index.m3u8",

"id": "9f4fa8eb-98c0-4ef6-9b89-b115d13bb192",

"alias": "9f4fa8eb-98c0-4ef6-9b89-b115d13bb192"

},

{

"running": false,

"uri": "/stream/camera1/index.m3u8",

"id": "8ab9a89c-8271-4c89-97b7-c91372f4c1b0",

"alias": "camera1"

}

]

POST /stop从视频流列表中停止或者移动此视频流。可以传入streamid或者alias，通过这两个中的一个确定视频流。

Requires payload:{

"id": "40b1cc1b-bf19-4b07-8359-e934e7222109",

"alias": "camera1",

"remove": true, // optional - indicates if stream should be removed as well from list or not

"wait": false // optional - indicates if the call should wait for the stream to stop

}

ResponseEmpty 200

或

Empty 404

测试

使用roverr/rtsp-stream:2-management来测试此功能，这个组件里包含了一个测试UI,8080端口是视频流转换服务端口,80是前端页面端口.docker run -p 80:80 -p 8080:8080 roverr/rtsp-stream:2-management

打开测试网址http://localhost，增加RSTSP的地址，然后选择返回的视频流块文件，即可播放此视频。

写在最后

综合这两种方案，都能实现视频的即时播放功能，第一种方案需仍然需要使用javacv库来实现视频流的转换服务，第二种方案已经提供了成熟的接口，因此，更加适合我们的项目需求，性能测试比之前的方案都有很大的提高。