🧡💛💚💙💜OpenCV实战系列总目录
有任何问题欢迎在下面留言
本篇文章的代码运行界面均在Pycharm中进行
本篇文章配套的代码资源已经上传
上篇内容:
openCV实战-系列教程10:信用卡数字识别上(二值/灰度/礼帽/图像轮廓/模版匹配/sobel梯度/阈值/闭操作)项目实战、源码解读
4、输入数据处理
4.1 任务简述
对于模版,因为元素很简单,但是我们的信用卡背景很多,也就是存在很多干扰项
除了数字,上面的和下面的数字字母都是干扰项,所以信用卡的数据的处理没有模板简单,需要较多的预处理操作。指定后面需要的卷积核,之前的内容中,总是使用(3,3)的卷积核,我们可以根据实际任务进行调整:
# 初始化卷积核
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))
sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
4.2 数据读入
数据读入,resize图像大小,灰度处理,礼帽操作处理
# 读取输入图像,预处理
image = cv2.imread(args["image"])
cv_show('image', image)
image = myutils.resize(image, width=300)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv_show('gray', gray)
# 礼帽操作,突出更明亮的区域
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rectKernel)
cv_show('tophat', tophat)
- 读入原始图像,打印原始图像
- resize原始图像,灰度处理,打印灰度图
- 礼帽操作,读进原来预设的卷积核,打印礼帽结果图
打印结果:
![](https://img-blog.csdnimg.cn/7268ef481b474c17a57ac41699fabc4b.png#pic_left%20=300x160)
![](https://img-blog.csdnimg.cn/2c014e35e3994332be63e4a589773879.png#pic_left%20=300x160)
![](https://img-blog.csdnimg.cn/14940665ad0e46fe869d6be796942204.png#pic_left%20=300x160)
4.3 计算梯度:
gradX = cv2.Sobel(tophat, ddepth=cv2.CV_32F, dx=1, dy=0, ksize=-1)
# ksize=-1相当于用3*3的
gradX = np.absolute(gradX)
(minVal, maxVal) = (np.min(gradX), np.max(gradX))
gradX = (255 * ((gradX - minVal) / (maxVal - minVal)))
gradX = gradX.astype("uint8")
print(np.array(gradX).shape)
cv_show('gradX', gradX)
sobel算子、绝对值、归一化
打印结果:
这里本来是可以对gradX和gradY都计算一遍的,但是只计算水平方向结果就已经可以了。
如果对图像梯度不是很懂的,看这篇文章
4.4 两次闭操作+阈值:
为什么需要执行闭操作(膨胀腐蚀),阈值二值化处理,闭操作这几次操作?
因为我们需要将数字的这一块全圈出来
比如这四组数据,每一小组 [ 5412 ],都需要单独圈出来,让他更像一个块儿。
# 通过闭操作(先膨胀,再腐蚀)将数字连在一起
gradX = cv2.morphologyEx(gradX, cv2.MORPH_CLOSE, rectKernel)
cv_show('gradX', gradX)
# THRESH_OTSU会自动寻找合适的阈值,适合双峰,需把阈值参数设置为0
thresh = cv2.threshold(gradX, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
cv_show('thresh', thresh)
# 再来一个闭操作
thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sqKernel) # 再来一个闭操作
cv_show('thresh', thresh)
分别是闭操作、打印图像、阈值、打印图像、闭操作、打印图像
打印结果:
![](https://img-blog.csdnimg.cn/0c0c62c386a245fd81787066e0ad150a.png#pic_left%20=300x160)
![](https://img-blog.csdnimg.cn/3d9d2bd606dc4aa0ac006497ca9fe3f0.png#pic_left%20=300x160)
![](https://img-blog.csdnimg.cn/484cbfac3db146db893961f79775b40b.png#pic_left%20=300x160)
cv2.threshold函数有两个返回值,第一个是阈值,第二个是阈值处理后的图像,后面加上[1]就是数组中意思,只要阈值处理后的图像。
在最后的第二个图中,黑色是被我们处理掉的部分,白色是我们想要的区域。但是图二中,存在很多坑坑洼洼的部分,再来一次闭操作,消除这些孔。这个时候我们再去检测外轮廓,应该会更加准确一些。
5 轮廓检测
5.1 轮廓检测
threshCnts, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = threshCnts
cur_img = image.copy()
cv2.drawContours(cur_img, cnts, -1, (0, 0, 255), 3)
cv_show('img', cur_img)
分别是计算轮廓信息到threshCnts、换个变量名、深度复制一下、画出轮廓、打印图片
但是这个千万不要误解,这些个轮廓是上面一些列操作计算出来的,然后再去原始图像上画出这些轮廓的。
但是这个结果,很显然还是有问题的,因为只有4个轮廓是我们这个项目的任务需要的,其他的需要我们把它过滤掉。所以我们需要遍历所有轮廓,然后通过一系列方法筛选出我们需要的轮廓。
5.2 遍历所有轮廓
通过判断轮廓的长宽比来得到我们需要的轮廓,遍历所有轮廓,并且过滤出长宽比是在(2.5,4),长宽分别在(40,55)、(10,20)的轮廓放在locs 中
# 遍历轮廓
for (i, c) in enumerate(cnts):
# 计算矩形
(x, y, w, h) = cv2.boundingRect(c)
ar = w / float(h)
# 选择合适的区域,根据实际任务来,这里的基本都是四个数字一组
if 2.5 < ar < 4.0:
if (40 < w < 55) and (10 < h < 20):
# 符合的留下来
locs.append((x, y, w, h))
# 将符合的轮廓从左到右排序
locs = sorted(locs, key=lambda x: x[0])
- i、c分别是轮廓的索引和信息
- 得到轮廓顶点坐标和长宽
- 计算长宽比例
- 筛选长宽比例(这个具体的值需要多试几次才知道,是试出来的)
- 筛选长、宽(一样是试出来的)
- 符合的保存下来
- 轮廓进行排序(比如第一个是5412)
6 模板匹配
6.1 遍历目标轮廓
首先我们需要将4个轮廓取出来,并且把四个轮廓里面数字的小轮廓全部取出来
output = []
for (i, (gX, gY, gW, gH)) in enumerate(locs):
# initialize the list of group digits
groupOutput = []
# 根据坐标提取每一个组
group = gray[gY - 5:gY + gH + 5, gX - 5:gX + gW + 5]
cv_show('group', group)
# 预处理
group = cv2.threshold(group, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
cv_show('group', group)
# 计算每一组的轮廓
digitCnts, hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
digitCnts = contours.sort_contours(digitCnts, method="left-to-right")[0]
- (i, (gX, gY, gW, gH))轮廓索引、轮廓左上角顶点坐标和长宽
- 保存结果的数组
- 定位当前轮廓,+5和-5是自己实验的时候想着往上下左右调一点点啥的,不是固定流程😂
- 打印当前轮廓:
现在我们需要对当前轮廓再次进行轮廓检测,以获取每一个小轮廓,以及小轮廓里面的数字 - 获取轮廓需要二值处理
- 打印二值结果:
- 检测轮廓
- 排序轮廓
6.2 模版匹配
现在我们得到了包含四个数字的四个轮廓,我们就需要对四个轮廓分别进行计算和匹配
6.2.1 遍历目标小轮廓
for c in digitCnts:
# 找到当前数值的轮廓,resize成合适的的大小
(x, y, w, h) = cv2.boundingRect(c)
roi = group[y:y + h, x:x + w]
roi = cv2.resize(roi, (57, 88))
cv_show('roi', roi)
对四个轮廓进行遍历
计算外接矩形
获取外接矩形信息
resize
打印图像
现在我们就得到了四个轮廓的第一个轮廓对应图像,现在我们就需要知道怎么让计算机认识这个5呢,那就需要进行模版匹配了,把模版数据和这个数据安装指定方法进行比较,就能得到结果了。
6.2.2 模板匹配
# 计算匹配得分
scores = []
# 在模板中计算每一个得分
for (digit, digitROI) in digits.items():
# 模板匹配
result = cv2.matchTemplate(roi, digitROI, cv2.TM_CCOEFF)
(_, score, _, _) = cv2.minMaxLoc(result)
scores.append(score)
# 得到最合适的数字
groupOutput.append(str(np.argmax(scores)))
- 保存10个模版的分数
- 对10个模版进行遍历,digit即是索引也是标签,digitROI模版图像数据
- cv2.matchTemplate模板匹配函数, cv2.TM_CCOEFF匹配方法(共6种),对模板匹配不熟悉看这篇文章,roi是我们前面打印的那个5,digitROI是当前遍历的模版数据
- 得到四个返回值,我们只需要maxLoc,对模版匹配不清楚看前面那篇文章
- 保存模版十个数的得分
- for循环结束后,从这个所有得分中,取出最大的得分,放到我们的结果输出数组中
7 获取结果
已经计算出来了结果,把这些数字全部框出来,再打印出来最终的识别结果,并且把识别结果打印在原始图中
# 画出来
cv2.rectangle(image, (gX - 5, gY - 5), (gX + gW + 5, gY + gH + 5), (0, 0, 255), 1)
cv2.putText(image, "".join(groupOutput), (gX, gY - 15), cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)
# 得到结果
output.extend(groupOutput)
# 打印结果
print("Credit Card Type: {}".format(FIRST_NUMBER[output[0]]))
print("Credit Card #: {}".format("".join(output)))
cv2.imshow("Image", image)
cv2.waitKey(0)
代码逐行解读:
- 1、在原始图像中,把四个目标轮廓的框画出来
- 2、把识别出来的数画在框上面
- 3、存储结果文本(这串卡号)
- 4、打印信用卡类型结果,前面有匹配的字典
- 5、打印信用卡卡号
- 6、打印图像
- 7、按任意键关闭图像窗口
Credit Card Type: MasterCard
Credit Card #: 5412751234567890
如果需要更换信用卡图像,就需要在配置运行参数哪里去改一下了
上篇内容:
openCV实战-系列教程10:信用卡数字识别上(二值/灰度/礼帽/图像轮廓/模版匹配/sobel梯度/阈值/闭操作)项目实战、源码解读