图像识别技术

图像识别技术

自动化测试手段：元素特征识别—>图像识别—>鼠标键盘操作

​ 1.为什么做图像识别

​ 界面定位难

​ sikulix是java脚本编写，使用比较麻烦

​ 2.什么是图像识别

​ 核心本质就是对图像轮廓的描述，变形后的容错，像素信息的匹配处理等

​ 3.我们要做什么？

​ 在一个大的画面中，查找一个匹配某个小区域的画面元素，然后定位到该元素上，再进行相应的操作，从而实现测试的目的

​ 4.图像识别匹配算法—三个基本概念（模板匹配、差影法、投影法等）

​ 模板匹配

​ *对于要操作的画面元素进行单独的截图，这个截图称之为模板

​ *利用这个模板在整个当前屏幕或者当前窗口进行搜索匹配，找到完全符合条件的区域的中心位置坐标的过程，就是模板匹配

​ 缺点：模板相对于要比较的图发生了等比例的放大缩小或者进行了一定角度的旋转，这些情况都是无法比对成功的

​ 滑动比对

​ *比对→RGBA

​ 匹配度（Similarity）—本质上就是容错处理的概念

​ *也可以称为相似度，主要用于解决图像匹配过程中的容错问题

​ *考虑的角度可以有以下几个方面

​ a.像素数占比

​ b.RGBA值占比

​ c.此外，还可以采用预先转换为灰度图的方式（彩色图片转灰阶或者黑白）