Java找图 (截屏找图 大图找小图)--自己实现“按键精灵”

最近老板给了个需求是要做一个在安卓模拟器上自动扫码支付的程序,本来以为用Appium就可以直接直接搞定的,但是最后发现Appium只能操作App,在模拟器的实际运行中App要进入扫码功能,还要点击安卓模拟器的的功能菜单才可以。一开始就想着获取安卓模拟器的窗口句柄来操作点击的,结果发现这个句柄不好获取,最后就无奈采取找图定位功能菜单加模拟点击来实现。

模拟点击是很容易实现的了,Java本身就封装了一个叫Robot的类来实现这些功能,所以难点在于点击的定位,我们的目的是在屏幕中找到我们要点击位置在哪里。以前用过“按键精灵”,记得它的做法通过找图来确定要点击的位置。于是,我们的目标就转变成了,在一个大图中找一个小图,得到它在大图中的位置。

一、新建项目

新建一个Maven项目,导入依赖,我们这里使用JavaCV来实现找图这个功能,要用到图像模板匹配这个算法。

<dependency>
  <groupId>org.bytedeco</groupId>
  <artifactId>javacv-platform</artifactId>
  <version>1.5.5</version>
</dependency>

二、编写代码

代码逻辑非常简单,可以直接复制粘贴使用。

import org.bytedeco.javacpp.DoublePointer;
import org.bytedeco.javacv.Java2DFrameConverter;
import org.bytedeco.javacv.OpenCVFrameConverter;
import org.bytedeco.opencv.opencv_core.*;
import org.bytedeco.opencv.opencv_core.Point;

import javax.imageio.ImageIO;
import java.awt.*;
import java.awt.event.InputEvent;
import java.awt.image.BufferedImage;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.IOException;

import static org.bytedeco.opencv.global.opencv_core.CV_32FC1;
import static org.bytedeco.opencv.global.opencv_core.CV_8UC1;
import static org.bytedeco.opencv.global.opencv_core.minMaxLoc;
import static org.bytedeco.opencv.global.opencv_imgcodecs.IMREAD_GRAYSCALE;
import static org.bytedeco.opencv.global.opencv_imgcodecs.imread;
import static org.bytedeco.opencv.global.opencv_imgproc.COLOR_BGR2GRAY;
import static org.bytedeco.opencv.global.opencv_imgproc.COLOR_BGRA2RGBA;
import static org.bytedeco.opencv.global.opencv_imgproc.T
  • 3
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
### 回答1: Java找图是一种在Java环境下实现截屏找图大图小图功能的技术。它通常用于自动化测试、游戏辅助等领域,在提高效率的同时也具备优秀的精度和可靠性。 截屏找图是指截取屏幕上指定区域的图像,然后在其中查与给定小图像匹配的目标图像。这一过程中需要使用Java内置的Robot类和BufferedImage类以及ImageIO类等工具。 大图小图是指从大图像的指定区域中查并定位与给定小图相同的图像。这一过程通常涉及多个算法,如特征点匹配、模板匹配等。Java环境下通常使用OpenCV等第三方库实现此功能。 自己实现按键精灵”需要结合以上两种技术,实现屏幕操作并根据特定条件自动执行相应的按键事件。需要注意的是,该程序应注意避免对游戏运行环境造成干扰,以保证运行的稳定性。 总之,Java找图技术是一种灵活、实用且广泛应用的技术,能够为开发者和用户带来极大的便利和效率。 ### 回答2: Java是一种广泛使用的编程语言,可以用来开发各种类型的应用程序。本文将讨论如何使用Java实现一个基本的按键精灵,以实现截屏找图大图小图等操作。 按键精灵是一种自动化工具,可以模拟鼠标和键盘操作,以便自动完成重复性任务。在Java中,我们可以使用java.robot包来模拟鼠标和键盘操作。 首先,让我们看一下如何实现截屏找图截屏是指在计算机屏幕上捕获当前显示的内容的操作。要实现截屏,我们可以使用java.awt.Robot类中的createScreenCapture()方法。这个方法可以创建一个包含整个屏幕内容的BufferedImage对象。然后,我们可以使用Java中的Java图像处理库ImageIO类保存图像。 接下来,我们需要在捕获的屏幕图像中查我们感兴趣的小图像。我们可以使用Java图像处理库OpenCV中的TemplateMatching算法来实现这一点。这个算法允许我们在图像中寻小的模板图像。然后,我们可以使用java.robot库中的鼠标键盘模拟方法来自动执行我们想要的任务。 对于大图小图,我们需要使用一些不同的技术。这通常需要将大图像分成小块,然后在每个块中查小模板图像。一旦我们到了匹配的块,我们就可以在这个块的坐标上执行我们想要的任务。这些任务可以包括截图、鼠标移动、鼠标单击等。 总之,使用Java按键精灵可以大大减轻繁琐任务的工作量,让我们能够更快地完成我们的工作。要实现这个功能,我们需要使用Java中的Robot类、ImageIO类和OpenCV库中的模板匹配算法等工具。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

至尊小毛毛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值