java开发视频流接口_javaCV开发详解之2：推流器和录制器实现，推本地摄像头视频到流媒体服务器以及摄像头录制视频功能实现(基于javaCV、FFMPEG和openCV)...

javaCV开发详解之2：推流器和录制器实现，推本地摄像头视频到流媒体服务器以及摄像头录制视频功能实现(基于javaCV、FFMPEG和openCV)

前言：

上一章简单的介绍了javacv并且演示了如何获取本机摄像头：http://blog.csdn.net/eguid_1/article/details/51659578．本章将在上一章的基础上，增加视频推流到流媒体服务器和视频录制的功能；

功能：实现边播放边录制/推流，停止预览即停止录制/推流

一、开发所依赖的包

javacv.jar

javacpp.jar

ffmpeg.jar

ffmpeg-系统平台.jar

opencv.jar

opencv-系统平台.jar

其中ffmpeg-系统平台.jar，opencv-系统平台.jar中的系统平台根据开发环境或者测试部署环境自行更改为对应的jar包，比如windows7 64位系统替换为ffmpeg-x86-x64.jar

为什么要这样做：因为ffmpeg-系统平台.jar中存放的是c/c++本地so/dll库，而ffmpeg.jar就是使用javacpp封装的对应本地库java接口的实现，而javacpp就是基于jni的一个功能性封装包，方便实现jni，javacv.jar就是对9个视觉库进行了二次封装，但是实现的功能有限，所以建议新手先熟悉openCV和ffmpeg这两个C/C++库的API后再来看javaCV思路就会很清晰了。

二、代码实现

本功能采用按帧录制/推流，通过关闭播放窗口停止视频录制/推流。

注：本章代码中的opencv转换器是未来方便演示如何获取图片，长时间运行该代码会导致内存溢出的原因是没有及时释放IplImage资源，所以大家推流时应当去除转换代码，直接推流即可。

/**

* 按帧录制本机摄像头视频(边预览边录制，停止预览即停止录制)

*

* @author eguid

* @param outputFile -录制的文件路径，也可以是rtsp或者rtmp等流媒体服务器发布地址

* @param frameRate - 视频帧率

* @throws Exception

* @throws InterruptedException

* @throws org.bytedeco.javacv.FrameRecorder.Exception

*/

public static void recordCamera(String outputFile, double frameRate){

//另一种方式获取摄像头，opencv抓取器方式获取摄像头请参考第一章，FrameGrabber会自己去找可以打开的摄像头的抓取器。

FrameGrabber grabber = FrameGrabber.createDefault(0);//本机摄像头默认0

grabber.start();//开启抓取器

OpenCVFrameConverter.ToIplImage converter = new OpenCVFrameConverter.ToIplImage();//转换器

IplImage grabbedImage = converter.convert(grabber.grab());//抓取一帧视频并将其转换为图像，至于用这个图像用来做什么？加水印，人脸识别等等自行添加

int width = grabbedImage.width();

int height = grabbedImage.height();

FrameRecorder recorder = FrameRecorder.createDefault(outputFile, width, height);

recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264); // avcodec.AV_CODEC_ID_H264，编码

recorder.setFormat("flv");//封装格式，如果是推送到rtmp就必须是flv封装格式

recorder.setFrameRate(frameRate);

recorder.start();//开启录制器

long startTime=0;

long videoTS=0;

CanvasFrame frame = new CanvasFrame("camera", CanvasFrame.getDefaultGamma() / grabber.getGamma());

frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);

frame.setAlwaysOnTop(true);

Frame rotatedFrame=converter.convert(grabbedImage);//不知道为什么这里不做转换就不能推到rtmp

while (frame.isVisible() && (grabbedImage = converter.convert(grabber.grab())) != null) {

rotatedFrame = converter.convert(grabbedImage);

frame.showImage(rotatedFrame);

if (startTime == 0) {

startTime = System.currentTimeMillis();

}

videoTS = 1000 * (System.currentTimeMillis() - startTime);

recorder.setTimestamp(videoTS);

recorder.record(rotatedFrame);

Thread.sleep(40);

}

frame.dispose();//关闭窗口

recorder.close();//关闭推流录制器，close包含release和stop操作

grabber.close();//关闭抓取器

}

总的来说，我们已经实现了基本的推流器功能，那么需要注意的就是转换那里，不清楚为什么不做转换就不能推送到rtmp流媒体服务器，如果哪位有更好的方案希望可以联系博主，感谢！

3、测试录制功能和推流功能

public static void main(String[] args) throws Exception, InterruptedException, org.bytedeco.javacv.FrameRecorder.Exception {

recordCamera("output.mp4",25);

}

public static void main(String[] args) throws Exception, InterruptedException, org.bytedeco.javacv.FrameRecorder.Exception {

recordCamera("rtmp://192.168.30.21/live/record1",25);

}

看到了摄像头窗口就说明已经开始录制，点击右上角关闭按钮即停止录制视频，在录制的时候刷新项目目录发现新生成了一个output.mp4文件，可以正常播放这个视频文件

针对内存泄露优化如下:

public void recordCamera1(String outputFile, double frameRate) throws IOException, InterruptedException {

//另一种方式获取摄像头，opencv抓取器方式获取摄像头请参考第一章，FrameGrabber会自己去找可以打开的摄像头的抓取器。

FrameGrabber grabber = FrameGrabber.createDefault(0);//本机摄像头默认0

grabber.start();//开启抓取器

FrameRecorder recorder = FrameRecorder.createDefault(outputFile, grabber.getImageWidth(), grabber.getImageHeight());

recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264); // avcodec.AV_CODEC_ID_H264，编码

recorder.setFormat("flv");//封装格式，如果是推送到rtmp就必须是flv封装格式

recorder.setFrameRate(frameRate);

recorder.start();//开启录制器

CanvasFrame convertFrame = new CanvasFrame("camera", CanvasFrame.getDefaultGamma() / grabber.getGamma());

convertFrame.setDefaultCloseOperation(JFrame.HIDE_ON_CLOSE);

convertFrame.setAlwaysOnTop(true);

Frame frame;

long startTime = System.currentTimeMillis(); // 视频开始时间

long videoTS = 0;

while (convertFrame.isVisible() && (frame = grabber.grab()) != null) {

OpenCVFrameConverter.ToIplImage converter = new OpenCVFrameConverter.ToIplImage();//转换器

IplImage grabbedImage = converter.convert(frame);//抓取一帧视频并将其转换为图像，至于用这个图像用来做什么？加水印，人脸识别等等自行添加

Frame rotatedFrame = converter.convert(grabbedImage);

convertFrame.showImage(rotatedFrame);

videoTS = 1000 * (System.currentTimeMillis() - startTime);

recorder.setTimestamp(videoTS);

recorder.record(rotatedFrame);

Thread.sleep((int) (1000 / frameRate));

}

// 用于记录视频的时间，方便去对比生成视频时间的差高难度

long end = System.currentTimeMillis();

System.out.println("视频时长:" + (end - startTime));

convertFrame.dispose();//关闭窗口

recorder.close();//关闭推流录制器，close包含release和stop操作

grabber.close();//关闭抓取器

}

本文由 创作，采用 知识共享署名4.0 国际许可协议进行许可。本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名。最后编辑时间为:

2020/07/16 10:56