如何用Airtest实现在图片范围内随机点击

程序员潇潇

于 2024-05-17 17:00:45 发布

阅读量968

点赞数 25

分类专栏：软件测试文章标签： java 前端数据库软件测试自动化测试功能测试程序人生

本文链接：https://blog.csdn.net/nhb687095/article/details/139008674

版权

软件测试专栏收录该内容

1213 篇文章 31 订阅

订阅专栏

前几天有个新手同学问了这样一个问题：

我是新手，在图片范围内随机点击，用Airtest怎么实现？代码？

那我们就以这个问题为例，浅浅聊一下，怎么把需求转化成我们的Airtest代码。

了解Airtest

首先新手同学对Airtest要有以下几点认知：

① Airtest是一个图像识别框架，它能在屏幕上用图像识别来找到想操作的位置并点击，所以Airtest本质上点击的是目标图片的坐标，默认是中心点
② Airtest是python第三方库，除了Airtest本身的接口之外，我们随时可以import python的标准库或者其它第三方库，一起使用

分析需求，转化成代码

1）查文档，找现成方法

有了以上2点认知后，我们再回到需求，“在图片范围内随机点击”，第一步我们要做的就是查询官方教程文档，看下有没有现成的方法可以使用：

① 一般情况下，Airtest都是点击图片中心位置，不知道有没有点击图片内其它坐标的方法
② 随机点击，怎么实现在图片内随机点击这个行为，不知道Airtest有没有随机点的方法

当我们查阅Airtest的教程文档之后，发现Airtest确实提供了点击图片内非中心坐标的方法，就是指定target_pos，但是只能点击图片内的9个点：

这里似乎并不太符合在图片范围内随机点的需求。随后我们又查询了文档，发现Airtest也没有提供随机点击的方法。

2）分析需求，自己实现

那么我们到这里就需要进入到第二步，分析需求，看看需求都有哪些难点需要我们实现：

① 在图片范围内点击，那意味着在整个图片的坐标范围内点击，那我们怎么拿到整个图片的坐标范围？
② 怎么点击一个随机的坐标？

针对第一个难点，其实我们分别拿到目标图片x、y坐标的最小、最大值，就能确认坐标范围了。

再进一步思考，一张图片x最小值是图片的最左侧，最大值是图片最右侧；y最小值是图片最上方，最大值是图片最下方；那就意味着，我们只要拿到图片左上角和右下角的坐标，就能完全确认目标图片x、y坐标的最小、最大值，进而确认图片坐标范围。

第一个难点解决后，再来看第二个难点，随机点，这里就要借助python的标准库random了，能帮助我们生成一个随机数的函数。

3）将思考转化成代码

最后一步就是将我们刚才分析需求，得到的思路，转化成代码：


# -*- encoding=utf8 -*-

__author__ = "AirtestProject"


from airtest.core.api import *

import random


auto_setup(__file__)


# 定义函数，得到目标图片的坐标范围

def pos_range():

if exists(Template(r"tpl1697515204054.png", target_pos=1, record_pos=(-0.16, 0.154), resolution=(2960, 1440))):

up_pos = exists(Template(r"tpl1697515204054.png", target_pos=1, record_pos=(-0.16, 0.154), resolution=(2960, 1440))) # 利用target_pos=0，拿到目标图片左上角的坐标

down_pos = exists(Template(r"tpl1697515204054.png", target_pos=9, record_pos=(-0.16, 0.154), resolution=(2960, 1440))) # 利用target_pos=9，拿到目标图片右下角的坐标

x = (int(up_pos[0]),int(down_pos[0])) # 拿到图片x坐标的范围

y = (int(up_pos[1]),int(down_pos[1])) # 拿到图片y坐标的范围

return x,y

else:

print("目标图片不存在")


# 分别拿到图片x坐标与y坐标的范围值

pos_r = pos_range()

x = pos_r[0]

y = pos_r[1]


# 在x、y的坐标范围内生成随机数

x_range = random.randint(x[0],x[1])

y_range = random.randint(y[0],y[1])


# 点击图片范围内任意坐标

touch([x_range,y_range])

优化版

以上是简单的一个实现，效率不是最优。下面介绍一个更优的实现方案：

Moty同学是通过在本地python环境安装Airtest库去进行Airtest自动化脚本编写的，同时该脚本在AirtestIDE上是可以完美适配运行的。

我们先来看看Moty同学代码的运行情况，可以看到通过生成随机坐标的形式，点击图片上的任意点，这里用计算器去具象化，可以看到每次随机坐标可以点击不同数字或者数字的不同位置，每次运行都可以获得随机的数字序列。

看起来很厉害的样子，我们应该怎么去实现呢？让我们来看看Moty同学的代码吧~


# -*- encoding=utf8 -*-

__author__ = "Moty"


from airtest.core.api import *

from airtest.cli.parser import cli_setup

from airtest.core.error import *

from airtest.core.settings import Settings as ST

import random


"""

获取模板匹配的目标区域的矩形 这一部分实现参考 cv.py 中 loop_find 部分

: param : tpl 模板

: param : intervalfunc 没有合适匹配时的回调函数

: return 最佳匹配的矩形区域(x1,y1,x2,y2)

"""


def rectangle(tpl,intervalfunc=None):

G.LOGGING.info("Try finding: %s", tpl)

start_time = time.time()

while True:

screen = G.DEVICE.snapshot(filename=None, quality=ST.SNAPSHOT_QUALITY)

if screen is None:

# 如果截图为空，则可能是屏幕锁定了

G.LOGGING.warning("Screen is None, may be locked")

else:

match_result = tpl._cv_match(screen)

if match_result:

try_log_screen(screen)

# 这里 rect 得到的是 4个坐标点 取出左上右下角 得到(x1,y1,x2,y2) 元组

rect = match_result.get("rectangle")

if rect is not None:

return (round(rect[0][0]) , round(rect[0][1]) , round(rect[2][0]) , round(rect[2][1]))


if intervalfunc is not None:

intervalfunc()


# 超时则raise，未超时则进行下次循环:

if (time.time() - start_time) > ST.FIND_TIMEOUT:

try_log_screen(screen)

# 如果超时，则抛出异常

raise TargetNotFoundError('Picture %s not found in screen' % tpl)

else:

time.sleep(0.5)


"""

param : rect : 矩形区域 或模板

return : 区域内的随机坐标

"""


# 获取矩形区域内的随机坐标

def random_point(rect):

# 如果传入的是图片，则获取图片匹配的矩形区域

if isinstance(rect, Template):

x1, y1, x2, y2 = rectangle(rect)

else:

x1, y1, x2, y2 = rect

# 在矩形区域内随机生成一个坐标点

x = random.randint(x1, x2)

y = random.randint(y1, y2)

return x, y


"""

在 矩形范围内 随机点击

param : v : 目标区域 or 模板 or 坐标点（兼容touch）

param : times : 点击次数

return ：最终点击的点的坐标

"""

@logwrap

def random_touch_in_area(v, times=1, **kwargs):

if isinstance(v, Template) or (isinstance(v, tuple) and len(v) == 4):

pos = random_point(v)

else:

try_log_screen()

pos = v

# 在目标区域内随机点击

for _ in range(times):

G.DEVICE.touch(pos, **kwargs)

time.sleep(0.05)

delay_after_operation()

return pos



if __name__ == '__main__':


# 如果没有通过命令行连接设备，则使用该连接命令，若使用IDE运行则可忽略这段代码，不用写上

if not cli_setup():

auto_setup(__file__, logdir=None,

devices=["android:///",])


# 录制图片

tpl = Template(r"tpl1697636105500.png", record_pos=(0.243, -0.165), resolution=(1080, 2280))


# 获取模板匹配的目标区域的矩形

result = rectangle(tpl)

print(f"图片所在矩形区域 {result}")


# 在目标区域内随机点击

for i in range(10):

p = random_touch_in_area(tpl)

print(f"第 {i+1:02d} 次点击坐标 {p}")

sleep(1)

可以看出来，在编写代码的时候，Moty同学将每一个步骤进行函数封装后，可以减少二次查找的次数以及代码冗余，Moty同学的编写思路很值得我们学习~