python uiautomator2 识别图片获取文本

针对很多时候weditor不会显示控件的文本text属性为空

或者无法获取到该控件的情况

如我要获取下面的标题无法拿到

通过识别图片的方式

一，调用截图方法截取全屏

path = 'test.png'
d.screenshot(path)

二，在全屏的截图里截取标题的区域 

这里可以使用系统自带的画图工具打开图片，寻找要截取的坐标值

import cv2
def cut_png(png_name):
    img = cv2.imread(png_name)
    # print(img.shape)
    cropped = img[1109:1263, 21:1015]  # 裁剪坐标为[y0:y1, x0:x1]
    path = "./nowday_img/new.png"
    cv2.imwrite(path, cropped)

成功截取标题的图片

三，调用ddddocr识别图片获取文本 

import ddddocr

ocr = ddddocr.DdddOcr()
with open('test.png', 'rb') as f:
     img_bytes = f.read()
res = ocr.classification(img_bytes)
print(res)