1. USB摄像头取图
由于分辨率越高,处理的像素就越多,导致分析图像的时间变长,这里,我们设定摄像头的取图像素为(240,320):
cap = cv2.VideoCapture(0) # 根据电脑连接的情况填入摄像头序号
assert cap.isOpened()
# 以下设置显示屏的宽高
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 320)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 240)
cap.set(cv2.CAP_PROP_FOURCC, cv2.VideoWriter.fourcc('M', 'J', 'P', 'G'))
这里提几个常用的标准分辨率:
VGA (Video Graphics Array): 640×480
QVGA (QuarterVGA): 240×320
QQVGA: 120×160
接下来可以捕获一帧数据看一下状态:
# %% 捕获一帧清晰的图像
def try_frame():
while True:
ret, im_frame = cap.read()
cv2.imshow("frame", im_frame) # 显示图像
# im_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 可选择转换为灰度图
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cv2.destroyAllWindows()
return im_frame
im_frame = try_frame()
env.imshow(im_frame)
ps: 镜头角度会存在一定的歪斜,没有关系,我们后面会进行处理。
2. 图像预处理:获取屏幕ROI
利用屏幕的亮度,通过简单的阈值操作和轮廓操作,获取屏幕轮廓,然后将图像角度校正,最后获得正向的文字内容。
2.1. 分离提取屏幕区域
通过OTSU的阈值化操作,将图像处理为二值状态。这个很重要,因为如果直接使用彩图或灰度图,会由于外部光线的变化,导致后期字符匹配时整体灰度值与模板的差别而降低置信度,导致较大的误差。而二值图可以避免这个问题。
然后利用开运算(白底黑字,如果黑底白字则为闭运算),消除噪点。
im_latest = try_frame()
im_gray = mvlib.color.rgb2gray(image)
im_bin = mvlib.filters.threshold(im_gray, invert=False)
# im_erosion = mvlib.morphology.erosion(im_bin, (11, 11))
# im_dilation = mvlib.morphology.dilation(im_erosion, (5, 5))
im_opening = mvlib.morphology.opening(im_bin,