opencv模板匹配，读取银行卡号

首先需要银行卡图片和数字图片。


读取卡号的原理是通过模板匹配银行卡上的数字，从而提取卡号。首先，需要将数字的图片进行处理，将其分为不同的数字的模板。这里需要进行灰度转换以及二值化操作，使得边缘检测更加准确。

img=cv2.imread('image/num.png',0)
#二值化
ref=cv2.threshold(img,100,255,cv2.THRESH_BINARY_INV)[1]
contours,hierarchy=cv2.findContours(ref,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)

通过上面代码得到数字的外轮廓，要使用它们还需要进行排序。排序是按照轮廓的左上角坐标从左到右进行排序。

def sort_contours(cnt):
    i=0
    boundingBoxes=[cv2.boundingRect(c)for c in cnt]#用最小矩形包住找到的形状x,y,h,w
    (cnt,boundingBoxes)=zip(*sorted(zip(cnt,boundingBoxes),key=lambda b: b[1][i],reverse=False))
    return cnt

将排列好的轮廓存入字典。

refCnts=sort_contours(contours)
digits={}

# print(refCnts)
for (i,c) in enumerate(refCnts):
    (x,y,w,h)=cv2.boundingRect(c)
    roi=ref[y:y+h,x:x+w]
    roi=cv2.resize(roi,(57,88))
    digits[i]=roi

之后就是处理卡片图片了，也需要进行灰度转换，为消除背景的花纹，也需要进行顶帽运算。

gray=cv2.imread('image/card.png',0)

#初始化卷积核
rectKernel=cv2.getStructuringElement(cv2.MORPH_RECT,(20,3))
sqKernel=cv2.getStructuringElement(cv2.MORPH_RECT,(5,5))

tophat=cv2.morphologyEx(gray,cv2.MORPH_TOPHAT,rectKernel)
cv_show('tophat',tophat)

运算结果：

背景花纹基本看不见了，之后还要进行sobel算子操作，将轮廓提取出来。

gradX=cv2.Sobel(tophat,cv2.CV_32F,1,0,-1)
gradY=cv2.Sobel(tophat,cv2.CV_32F,0,1,-1)
gradX=cv2.convertScaleAbs(gradX)
gradY=cv2.convertScaleAbs(gradY)
gradXY=cv2.addWeighted(gradX,0.5,gradY,0.5,0)

cv_show('gradXY',gradXY)

可以看出银行卡号分为四个区域，为方便与数字进行匹配，我们分别提取这四个区域的数字。通过闭操作（先膨胀，再腐蚀）使区域显现。

#闭操作，先膨胀再腐蚀
gradXY=cv2.morphologyEx(gradXY,cv2.MORPH_CLOSE,rectKernel)
cv_show('gradX',gradXY)

再进行一次二值化操作。

#自动寻找合适阈值
thresh=cv2.threshold(gradXY,0,255,cv2.THRESH_BINARY|cv2.THRESH_OTSU)[1]
cv_show('thresh',thresh)

能看出区域中还是有一些空白，再进行一次闭操作。

thresh=cv2.morphologyEx(thresh,cv2.MORPH_CLOSE,rectKernel)
cv_show('thresh',thresh)

查看得到的轮廓图。

contours,hierarchy=cv2.findContours(thresh,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
img_copy=cv2.imread('image/card.png')
cv2.drawContours(img_copy,contours,-1,(0,0,255),3)
cv_show('img_copy',img_copy)

提取符合条件的轮廓，并排序。

locs=[]

for (i,c) in enumerate(contours):
    (x,y,w,h)=cv2.boundingRect(c)
    ar=w/float(h)

    if ar>2.5 and ar<4.0:
        if(w>80 and w<130)and(h>10 and h<30):
            locs.append((x,y,w,h))

#为轮廓排序，从左到右
print(locs)
locs=sorted(locs,key=lambda x:x[0])

得到每个轮廓后，遍历每个轮廓，提取其中的数字，同时排序。并遍历数字轮廓，与之前提取的数字进行匹配对比，选择最大值的数字作为该轮廓代表的数字。之后显示到图片上。

#遍历每一个轮廓中数字
for(i,(gX,gY,gW,gH))in enumerate(locs):
    groupOutput=[]
    #提取每一个组
    group=gray[gY-5:gY+gH+5,gX-5:gX+gW+5]
    cv_show('group',group)

    group=cv2.threshold(group,0,255,cv2.THRESH_BINARY|cv2.THRESH_OTSU)[1]
    cv_show('group',group)

    digitCnts, hierarchy = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    digitCnts=sort_contours(digitCnts)


    for c in digitCnts:
        (x,y,w,h)=cv2.boundingRect(c)
        roi=group[y:y+h,x:x+w]
        roi=cv2.resize(roi,(57,88))
        cv_show('roi',roi)

        scores=[]

        for(digit,digitROI)in digits.items():

            result=cv2.matchTemplate(roi,digitROI,cv2.TM_CCOEFF)
            (_,score,_,_)=cv2.minMaxLoc(result)
            scores.append(score)

        groupOutput.append(str(np.argmax(scores)))

    print(groupOutput)

    cv2.rectangle(gray,(gX-5,gY-5),(gX+gW+5,gY+gH+5),(0,0,255),1)
    cv2.putText(gray,"".join(groupOutput),(gX,gY-15),cv2.FONT_HERSHEY_SIMPLEX,0.65,(0,0,255),2)
    output.extend(groupOutput)

cv_show('img',gray)