效果图
这个是公司的实时监控,害怕被公司同事刷到,就用了白板遮住一些信息,但具体效果还是有的,,该图片则是这个监控的某一帧画面
一、引入依赖
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>javacv-platform</artifactId>
<version>1.4.4</version>
</dependency>
二、实现代码
public class VideoUtils {
private static final Logger log = LoggerFactory.getLogger(VideoUtils.class);
private static String rtspTransportType = "tcp";
/**
* * 视频帧率
*
*/
private static int frameRate = 25;
/**
* 视频宽度
*/
private static int frameWidth = 1920;
/**
* 视频高度
*/
private static int frameHeight = 1080;
/**
* 遍历100次确保实时图片显示正常图片
*/
private static int count=100;
/**
* 解析视频地址并截图
* @param path rstp 流地址
* @param picPath 图片存放地址
* @throws Exception
*/
public static void getVideoImagePathByRSTP(String path, String picPath) throws Exception {
//创建rstp流对象
FFmpegFrameGrabber grabber = createGrabber(path);
try {
//开启流获取
grabber.start();
//由于视频第一帧的流可能为黑屏 为了确保实时能截取到准确图像
// 故此做了个for循环用于覆盖生成图片
for (int i=0;i<count;i++){
// 获取流视频框内的图像
Frame frame = grabber.grabFrame();
if (frame!=null){
//转换图像
Java2DFrameConverter converter = new Java2DFrameConverter();
BufferedImage srcImage = converter.getBufferedImage(frame);
if (srcImage!=null) {
String filename = IdUtil.fastSimpleUUID() + "_" + "不知名截图.jpg";
String pPath = picPath + filename;
//创建文件
File file = new File(pPath);
//输出文件
ImageIO.write(srcImage, "jpg", file);
}
}
}
}catch (Exception e){
e.printStackTrace();
}finally {
grabber.stop();
grabber.close();
}
}
/**
* 构造视频抓取器
*
* @param rtsp 拉流地址
* @return
*/
private static FFmpegFrameGrabber createGrabber(String rtsp) {
// 获取视频源
try {
FFmpegFrameGrabber grabber = FFmpegFrameGrabber.createDefault(rtsp);
//设置传输方式 TCP | UDP
grabber.setOption("rtsp_transport", rtspTransportType);
//设置帧率
grabber.setFrameRate(frameRate);
//设置获取的视频宽度
grabber.setImageWidth(frameWidth);
//设置获取的视频高度
grabber.setImageHeight(frameHeight);
return grabber;
} catch (FrameGrabber.Exception e) {
log.error("创建解析rtsp FFmpegFrameGrabber 失败");
log.error("create rtsp FFmpegFrameGrabber exception: ", e);
return null;
}
}
public static void main(String[] args) {
try {
//参数1 rtsp 地址自行获取 参数2 截取图片存放地址
VideoUtils.getVideoImagePathByRSTP("rtsp://admin:xxx/ch1/main/av_stream", "D:\\cs\\");
} catch (IOException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
}
}
}
三、优化
由于一个监控视频截取一帧图片大概需要2s,如果多个监控视频的话就会变得更慢,在VideoUtils 类的基础上在增加两个方法DeviceGrabber 和CacheGrabber
/**
* 初始化项目时就构建每个url的视频抓取器,存入map中加快速度
*/
@Component
public class DeviceGrabber {
@PostConstruct
public void init() {
//获取所有的监控视频url
List<String> device = this.search();
if (!CollectionUtils.isEmpty(device)) {
device.parallelStream().forEach(path -> {
//初始化时就构造视频抓取器
FFmpegFrameGrabber grabber = PictureUtil.createGrabber(path);
//利用map缓存提高速度
CacheGrabber.setGrabberByDevicePath(path, grabber);
});
}
}
/**
*获取所有的监控url
*/
public List<String> search() {
return xxxx;
}
}
/**
* 利用map实现缓存
*
*/
public class CacheGrabber {
private static final Map<String, FFmpegFrameGrabber> GRABBER_MAP = new HashMap<>();
//如果传递过来的path在map中有则直接返回抓取器,如果不存在再重新创建抓取器
public static FFmpegFrameGrabber getGrabberByDevicePath(String path) {
if (!GRABBER_MAP.isEmpty()) {
FFmpegFrameGrabber grabber = GRABBER_MAP.get(path);
if (grabber == null) {
return PictureUtil.createGrabber(path);
}
return grabber;
}
return null;
}
public static void setGrabberByDevicePath(String path, FFmpegFrameGrabber grabber) {
GRABBER_MAP.put(path, grabber);
}
}
微调VideoUtils 方法:
public class PictureUtil {
private static String rtspTransportType = "tcp";
/**
* * 视频帧率
*
*/
private static int frameRate = 25;
/**
* 图片宽度
*/
private static int frameWidth = 1920;
/**
* 图片高度
*/
private static int frameHeight = 1080;
/**
* 解析视频地址并截图
* @param path rstp 流地址
* @param picPath 图片存放地址
* @throws Exception
*/
public static String getVideoImagePathByRSTP(String path, String picPath) throws Exception {
//创建rstp流对象
FFmpegFrameGrabber grabber = CacheGrabber.getGrabberByDevicePath(path);
String filename = null;
try {
//开启流获取
// grabber.start();
//由于视频第一帧的流可能为黑屏 为了确保实时能截取到准确图像
//获取流视频框内的图像
Frame frame = grabber.grabFrame();
if (frame != null) {
//转换图像
BufferedImage srcImage = FrameToBufferedImage(frame);
if (srcImage!=null) {
filename = UUID.randomUUID() + ".jpg";
String pPath = picPath + filename;
//创建文件
File file = new File(pPath);
//输出文件
ImageIO.write(srcImage, "jpg", file);
}
}
}catch (Exception e){
e.printStackTrace();
}finally {
// grabber.stop();
// grabber.close();
}
return filename;
}
/**
* 构造视频抓取器
*
* @param rtsp 拉流地址
* @return
*/
public static FFmpegFrameGrabber createGrabber(String rtsp) {
// 获取视频源
try {
FFmpegFrameGrabber grabber = FFmpegFrameGrabber.createDefault(rtsp);
//设置传输方式 TCP | UDP
grabber.setOption("rtsp_transport", rtspTransportType);
//设置帧率
grabber.setFrameRate(frameRate);
grabber.start();
log.info("grabber start···,rtsp:{}", rtsp);
// //设置获取的图片宽度
grabber.setImageWidth(frameWidth);
// //设置获取图片的高度
grabber.setImageHeight(frameHeight);
return grabber;
} catch (FrameGrabber.Exception e) {
return null;
}
}
/**
* 创建BufferedImage对象
*/
public static BufferedImage FrameToBufferedImage(Frame frame) {
Java2DFrameConverter converter = new Java2DFrameConverter();
BufferedImage bufferedImage = converter.getBufferedImage(frame);
return bufferedImage;
}
public static void main(String[] args) {
try {
/**
*入参可以不变。如果有多个监控url的话,在DeviceGrabber 中把search接口完善则好。
*/
PictureUtil.getVideoImagePathByRSTP("rtsp://admin:xxx/ch1/main/av_stream", "D:\\cs\\");
} catch (IOException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
}
}
}
@PostConstruct说明
servlet的生命周期:服务器加载servlet -> PostConstruct -> init -> doGet/doPost -> destroy -> PreDestroy -> 完毕
当使用依赖注入时,使用@Autowired将A注入到B中,首先需要生成这两个对象,那么Autowired是在构造方法Constructor后执行的。如果想在生成对象时完成某些初始化操作,而偏偏这些初始化操作又依赖于依赖注入,那么就无法在构造函数中实现。为此,可以使用@PostConstruct注解一个方法来完成初始化,@PostConstruct注解的方法将会在依赖注入完成后被自动调用。
执行顺序是:Constructor -> Autowired -> PostConstruct
问题
过了一个周末来看的时候,虽然速度提升了很多,但是还是有问题的,由于在初始化时就获取所有视频的grabber对象,然后得到的图片并不是实时截取的,而是项目初始化时截取的,这就导致图片展示那里很奇怪,时间相差太远了。现解决办法:把初始化获取graabber对象改成写定时任务,每隔2分钟获取所有视频的grabber对象,这样虽然还是有延迟,但是误差不是很大。另外(试过grabber.flush()方法,但事实上该方法并不管用)
四、再次优化(使用多线程)
就不再使用初始化map缓存的方式,只在最开始main方法中使用多线程来实现批量获取视频帧截图
public class VideoUtils {
private static final Logger log = LoggerFactory.getLogger(VideoUtils.class);
private static String rtspTransportType = "tcp";
/**
* * 视频帧率
*
*/
private static int frameRate = 25;
/**
* 视频宽度
*/
private static int frameWidth = 1920;
/**
* 视频高度
*/
private static int frameHeight = 1080;
/**
* 遍历100次确保实时图片显示正常图片
*/
private static int count=100;
/**
* 解析视频地址并截图
* @param path rstp 流地址
* @param picPath 图片存放地址
* @throws Exception
*/
public static void getVideoImagePathByRSTP(String path, String picPath) throws Exception {
//创建rstp流对象
FFmpegFrameGrabber grabber = createGrabber(path);
try {
//开启流获取
grabber.start();
//由于视频第一帧的流可能为黑屏 为了确保实时能截取到准确图像
// 故此做了个for循环用于覆盖生成图片
for (int i=0;i<count;i++){
// 获取流视频框内的图像
Frame frame = grabber.grabFrame();
if (frame!=null){
//转换图像
Java2DFrameConverter converter = new Java2DFrameConverter();
BufferedImage srcImage = converter.getBufferedImage(frame);
if (srcImage!=null) {
String filename = IdUtil.fastSimpleUUID() + "_" + "不知名截图.jpg";
String pPath = picPath + filename;
//创建文件
File file = new File(pPath);
//输出文件
ImageIO.write(srcImage, "jpg", file);
}
}
}
}catch (Exception e){
e.printStackTrace();
}finally {
grabber.stop();
grabber.close();
}
}
/**
* 构造视频抓取器
*
* @param rtsp 拉流地址
* @return
*/
private static FFmpegFrameGrabber createGrabber(String rtsp) {
// 获取视频源
try {
FFmpegFrameGrabber grabber = FFmpegFrameGrabber.createDefault(rtsp);
//设置传输方式 TCP | UDP
grabber.setOption("rtsp_transport", rtspTransportType);
//设置帧率
grabber.setFrameRate(frameRate);
//设置获取的视频宽度
grabber.setImageWidth(frameWidth);
//设置获取的视频高度
grabber.setImageHeight(frameHeight);
return grabber;
} catch (FrameGrabber.Exception e) {
log.error("创建解析rtsp FFmpegFrameGrabber 失败");
log.error("create rtsp FFmpegFrameGrabber exception: ", e);
return null;
}
}
static ExecutorService pool = new ThreadPoolExecutor(4, 20,
3000, TimeUnit.MILLISECONDS,
new ArrayBlockingQueue<>(20),
new ThreadPoolExecutor.CallerRunsPolicy());
public static void main(String[] args) {
List<String> list = new ArrayList<>();
list.add("rtsp://admin:xxx/ch1/main/av_stream/1");
list.add("rtsp://admin:xxx/ch1/main/av_stream/2");
list.add("rtsp://admin:xxx/ch1/main/av_stream/3");
list.add("rtsp://admin:xxx/ch1/main/av_stream/4");
list.add("rtsp://admin:xxx/ch1/main/av_stream/5");
CountDownLatch latch = new CountDownLatch(list.size());
for (String s : list) {
pool.execute(()->{
try {
//参数1 rtsp 地址自行获取 参数2 截取图片存放地址
VideoUtils.getVideoImagePathByRSTP("rtsp://admin:xxx/ch1/main/av_stream", "D:\\cs\\");
} catch (IOException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
}finally {
latch.countDown();
}
});
}
//若还有其他业务
try {
latch.await();//让主线程等待多个执行完后(即latch变为0)再执行
} catch (InterruptedException e) {
}
}
}
总结
来自职场新码农来看:这个初始化map缓存的方法很适合多多学习一下。通过初始化方法,获取数据然后存到map中,通过map在项目运行的过程中缓存起来,随取随用。这样子可以提高目的接口的访问速度。但是在真正的开发中,这种方法还是不到万不得已不要用好一些吧,项目加载过程中初始化的东西过多也是很考究服务器的。和redis相比把map作为缓存机制有好处也有不好的地方,根据业务而定,就比如上面所描述的功能来看,用map作为缓存再合适不过了。