UI自动化结合图像识别的例子

UI自动化结合图像识别的应用

近期，对图像识别特别感兴趣，于是开始学习了opencv3，结合上家的工作经历，我知道在哪里地方迫切需要检测和识别的方式来解决实际工作中的一些问题。
图像识别分两块来讲，一是图像检测，二是识别。
图像检测：模板匹配6种，特征匹配3种
图像识别：特征检测6种

后面还有文字识别

在以上的几种方式中，有些算法获取到的坐标精准，有些不精准。这时考虑加入阈值（采用二分法） 找到唯一一处最相似的位置，或者根据特征点，不小于n的一个数值，过滤一些不太准确的结果

methods = [
cv2.TM_SQDIFF, # 平方差匹配
cv2.TM_SQDIFF_NORMED, # 标准平方差匹配
# cv2.TM_CCORR, # 相关匹配
cv2.TM_CCORR_NORMED, # 标准相关匹配
cv2.TM_CCOEFF, # 相关系数匹配
cv2.TM_CCOEFF_NORMED # 标准相关系数匹配
]

可以看处前三种（注释了一种方法）的匹配还是不错的。

之所以不想用现成的一些工具，是因为个人感觉通过写代码的方式，可以做到一些case可以复用，结合ui自动化的框架，做一些其他的事情（例如响应，性能，流量等）。同时作为测试工程师来讲，也是提升能力的一种不错的选择~ 坚持学习！