曲鸟全栈UI自动化教学(一)：基于页面元素定位自动化的不足和图像识别匹配自动化的优势分析_图片定位元素和xpath定位元素的优缺点

2301_82242296

已于 2024-04-20 19:37:31 修改

阅读量597

点赞数 17

分类专栏： 2024年程序员学习文章标签： ui 自动化运维

于 2024-04-20 19:37:29 首次发布

本文链接：https://blog.csdn.net/2301_82242296/article/details/138008737

版权

2024年程序员学习专栏收录该内容

266 篇文章 0 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注网络安全）

正文

我们当然可以根据不同的属性,例如上述弹窗的标题不同来区分他们，但这样每个弹窗中的按钮就都需要写一次不同的元素地址。如果为了复用性考虑，我写了如下的代码来实现：

elements=driver.find_elements(
    By.XPATH,'//div[@class="ant-modal-root"]/div[(@class="ant-modal-wrap") and not(contains(@style,'
             '"none"))]//button/span[text()="确 定"]')
 for ele in elements:
        if ele.is_displayed():
            if ele.is_enabled():
                try:
                    ele.click()
                except ElementClickInterceptedException:
                    pass

先获取可见的【确定】按钮对象，然后遍历点击，如果点击报错的话就跳过 （报错是因为有遮罩挡住就会报错，只有页面最前的元素会可点击，刚好达到我们的目的），达到了一个元素地址三个【弹窗】的复用。

但即便这样，同样存在着下面这些不足：

DOM结构如果很大，执行会变慢，性能损耗；
为了复用性会有更多的代码逻辑判断，性能损耗；
页面代码发生修改可能需要重新定位元素，修改脚本或用例；
编写脚本或用例时，需要去分析DOM结构，调试代码，增加时间成本；
有iframe和多页面时需要单独切换；
有一定的学习成本；

这样分析下来，维护成本依然不低！那有没有解决方案呢？

肯定是有的，不然我也不会写这篇文章了！

二、解决方案

1. 讲解与演示

我们可以使用图像匹配来定位它，比如网易团队开源的airtest，类似于上述弹窗嵌套有多个【确定】按钮的情况，我们只需要截取一张【确定】按钮的图片，就能解决无数重复的确定按钮的定位了！哪怕页面代码进行了调整，只要你的按钮样式不变，还是原来的按钮的样子，也无须重新调整脚本和代码了！

这是我通过图像匹配的执行效果:
在这里插入图片描述

两个【确定】按钮完全共用的是一张图片

2. 实践教学

现在跟着我一起从0开始利用airtest写一个简单的图像识别测试脚本吧

需求

编写一个程序，它会通过图像识别执行点击百度的【新闻】，然后点击【互联网】这两步操作

具体步骤

1.先安装airtest

pip install airtest -i https://pypi.tuna.tsinghua.edu.cn/simple

2.创建一个项目，并输入如下代码：

from airtest.core.api import \*

news_path = 'news.png'
internet_path = 'internet.png'
connect_device('Windows:///')
ST.CVSTRATEGY = ["surf", "tpl"]
ST.FIND_TIMEOUT = 2
touch(Template(news_path))
touch(Template(internet_path))

3.先打开百度截取【新闻】图片，再点击新闻，截取【互联网】图片：

在这里插入图片描述

截取的图片如下，命令为news.png并保存到代码所在目录

在这里插入图片描述

截取的图片如下，命令为internet.png并保存到代码所在目录

在这里插入图片描述

4.检查目录文件命名是否与代码中一致

在这里插入图片描述

5.让浏览器保持百度访问

在这里插入图片描述

6.执行代码然后马上切换回浏览器，执行效果如下：

在这里插入图片描述

完全脱离了元素地址的方案进行自动化测试，并且无论上Web还是App，甚至PC应用都能够兼容！

三、依然存在的问题

在使用中可能会发现，分辨率不同，截取的图片就用不了！如果被测机器的分辨率都不相同，那是不是就得需要多套图片呢？

其实airtest针对此问题也有一些解决方案：

更改识别算法 （本人亲测，效果不好！！）
通过重写官方代码来实现适配分辨率的图片压缩方法
更改识别相似度阈值

另外airtest也有不可忽视的缺点：

被测对象必须保持可见(无法隐藏浏览器进行)
界面有相同元素时无法定位
不适用多行数据、文字数据的匹配

所以airtest 和selenium相结合才是目前最好的选择！

本专栏会专门针对 airtest 和 selenium 相结合进行自动化测试的知识分享

如何自学黑客&网络安全

黑客零基础入门学习路线&规划

初级黑客
1、网络安全理论知识（2天）
①了解行业相关背景，前景，确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。（非常重要）

2、渗透测试基础（一周）
①渗透测试的流程、分类、标准
②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察
④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等

3、操作系统基础（一周）
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全（系统入侵排查/系统加固基础）

4、计算机网络基础（一周）
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析（HTTP、TCP/IP、ARP等）
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御：主动/被动攻击、DDOS攻击、CVE漏洞复现

5、数据库基础操作（2天）
①数据库基础
②SQL语言基础
③数据库安全加固

6、Web渗透（1周）
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具：Nmap、BurpSuite、SQLMap、其他（菜刀、漏扫等）
恭喜你，如果学到这里，你基本可以从事一份网络安全相关的工作，比如渗透测试、Web 渗透、安全服务、安全分析等岗位；如果等保模块学的好，还可以从事等保工程师。薪资区间6k-15k

到此为止，大概1个月的时间。你已经成为了一名“脚本小子”。那么你还想往下探索吗？

如果你想要入坑黑客&网络安全，笔者给大家准备了一份：282G全网最全的网络安全资料包评论区留言即可领取！

7、脚本编程（初级/中级/高级）
在网络安全领域。是否具备编程能力是“脚本小子”和真正黑客的本质区别。在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中，想要高效地使用自制的脚本工具来实现各种目的，更是需要拥有编程能力.

如果你零基础入门，笔者建议选择脚本语言Python/PHP/Go/Java中的一种，对常用库进行编程学习；搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP， IDE强烈推荐Sublime；·Python编程学习，学习内容包含：语法、正则、文件、网络、多线程等常用库，推荐《Python核心编程》，不要看完；·用Python编写漏洞的exp,然后写一个简单的网络爬虫；·PHP基本语法学习并书写一个简单的博客系统；熟悉MVC架构，并试着学习一个PHP框架或者Python框架 (可选)；·了解Bootstrap的布局或者CSS。

8、超级黑客
这部分内容对零基础的同学来说还比较遥远，就不展开细说了，附上学习路线。

网络安全工程师企业级学习路线

如图片过大被平台压缩导致看不清的话，评论区点赞和评论区留言获取吧。我都会回复的

视频配套资料&国内外网安书籍、文档&工具

当然除了有配套的视频，同时也为大家整理了各种文档和书籍资料&工具，并且已经帮大家分好类了。

一些笔者自己买的、其他平台白嫖不到的视频教程。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

tps://img-blog.csdnimg.cn/img_convert/32eb4b22aa740233c5198d3c161b37e8.webp?x-oss-process=image/format,png)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）
[外链图片转存中…(img-1mqXZGWu-1713613033808)]

2301_82242296

关注

17
点赞
踩
22

收藏

觉得还不错? 一键收藏
0
评论
曲鸟全栈UI自动化教学(一)：基于页面元素定位自动化的不足和图像识别匹配自动化的优势分析_图片定位元素和xpath定位元素的优缺点

在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中，想要高效地使用自制的脚本工具来实现各种目的，更是需要拥有编程能力.，类似于上述弹窗嵌套有多个【确定】按钮的情况，我们只需要截取一张【确定】按钮的图片，就能解决无数重复的确定按钮的定位了！哪怕页面代码进行了调整，只要你的按钮样式不变，还是原来的按钮的样子，也无须重新调整脚本和代码了！
复制链接

扫一扫