OpenCV(开源计算机视觉库)是一个开源的计算机视觉和机器学习软件库,提供了丰富的功能和工具,用于处理图像和视频数据。其主要功能包括但不限于以下几个方面:
-
图像处理:包括图像加载、保存、缩放、裁剪、旋转、平移、色彩空间转换(如RGB、HSV等)、图像平滑(模糊、滤波)、图像增强(对比度、亮度调整)、边缘检测、形态学操作(膨胀、腐蚀)、图像分割等。
-
视频分析:提供了视频流的读取、处理、分析和写入功能,包括视频的读取、保存、截取、帧间差分、光流估计等。
-
特征检测与描述:包括关键点检测(如Harris、SIFT、SURF、FAST等)、描述子生成(如ORB、BRIEF、FREAK等)以及特征匹配算法。
-
目标检测与跟踪:包括人脸检测、物体检测(如Haar级联检测器、HOG+SVM检测器等)、目标跟踪(如基于卡尔曼滤波器、均值迁移、CamShift等)。
-
摄像头标定:提供了相机标定工具,用于校准相机的内参和外参,用于后续的相机几何校正、立体视觉等应用。
-
三维重建与视觉SLAM:包括立体视觉匹配、三维点云重建、结构光三维重建、基于深度学习的三维重建、视觉SLAM(Simultaneous Localization and Mapping)等。
-
深度学习集成:提供了深度学习模块,可以用于训练和部署深度学习模型,支持常见的深度学习框架(如TensorFlow、PyTorch)和模型(如Caffe、Darknet、OpenVINO)。
-
计算机视觉工具:包括图像匹配、图像拼接、图像检索、目标识别、图像分析、图像修复、图像转换等。
对于小编来说用的最多的功能为区域找图,结合Robot类的键盘鼠标控制,可以实现自动化测试,游戏辅助,比如结合人脸识别+鼠标移动就可以实现射击类游戏的自动瞄准(俺只是好奇,俺没有用,别骂俺是挂壁),再比如某些养成游戏,可以做个小机器人完成每日任务,养他1000个号,养肥了去卖钱(同一个ip可能会封号,小编也没遇到啥好的解决办法,有好方案的可以留言)
pom.xml引入spring基础包和opencv依赖
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.2.2.RELEASE</version>
<relativePath/>
</parent>
<groupId>com.lxw</groupId>
<artifactId>robot</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>robot-study</name>
<description>robot-study</description>
<properties>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.openpnp</groupId>
<artifactId>opencv</artifactId>
<version>4.8.1-0</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
加载opencv动态库
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import javax.annotation.PostConstruct;
@SpringBootApplication
public class Application {
public static void main(String[] args) {
SpringApplication.run(Application.class, args);
}
@Value("${opencv.path}")
private String opencvPath;
@PostConstruct
public void init() {
// 加载opencv库
System.load(opencvPath);
}
}
也可以在配置类中加载,只要保证能在使用前加载进来就行
配置文件
由于opencv动态库不能跨平台使用,所以要区分环境,windows下是opencv_java4.8.0.dll这种格式,linux下是libopencv_java480.so这种格式,默认本地使用dev环境,动态库文件见附件
application.properties
spring.profiles.active=dev
application-dev.properties
opencv.path=E:\\code\\robot-study\\robot-study-service\\src\\main\\resources\\lib\\opencv\\opencv_java481.dll
opencv.image.path=C:\\Users\\Administrator\\Desktop\\opencv\\
application-prod.properties
opencv.path=/root/opencv/libopencv_java480.so
# 这里直接保存到了nginx下,通过路径可以直接访问
opencv.image.path=/usr/local/nginx/opencv/
示例代码(生成素描图片)
原图
效果图
代码示例
@Value("${opencv.image.path}")
private String path;
@RequestMapping("/sketch")
public Object sketch(MultipartFile file) throws Exception {
byte[] bytes = file.getBytes();
// 使用前确保opencv库已加载,否则会报错
MatOfByte matOfByte = new MatOfByte(bytes);
Mat img = Imgcodecs.imdecode(matOfByte, Imgcodecs.IMREAD_COLOR);
// 检查图像是否成功加载
if (img.empty()) {
throw new RuntimeException("读取图片失败");
}
// 灰度图片
Mat gray = new Mat();
Imgproc.cvtColor(img, gray, Imgproc.COLOR_BGR2GRAY);
// 高斯去噪
Mat blurredImage = new Mat();
Imgproc.GaussianBlur(gray, blurredImage, new Size(21, 21), 0);
// 融合原始灰度图像和模糊图像
Mat sketchImage = new Mat();
Core.divide(gray, blurredImage, sketchImage, 256.0);
String filename = path + file.getOriginalFilename();
// 保存图片
Imgcodecs.imwrite(filename, sketchImage);
return filename;
}
测试地址
http://150.158.33.191/api/open/write