基于YOLOv5的银行卡卡号识别（一）

序言

银行卡卡号智能检测识别在现阶段的OCR应用中非常的广泛，各大app应用中也经常见到，因为之前项目中也有这样的需求，写篇文章分享一下项目思路。

一、需求分析

首先明确项目的需求，在项目中要对银行卡的卡号进行定位并识别，总的来说分为两个步骤：

• 一是卡号定位，也就是检测问题；
• 二是对定位后的卡号进行识别，也就是识别问题。

在第一步中，使用了YOLOv5对卡号进行检测，效果非常的奈斯，之前公司用是CTPN进行检测，效果虽然还不错，但是速度比较慢，在算法迭代的时候就想到也许能用YOLO去解决这个问题，但是期间曾尝试过v3、v3-spp，速度提上去了，但是精度又下降了，这一步的主要难点在于各种联名卡，复杂的背景使得卡号定位不是特别的准确，以及卡号经常会有不同程度的旋转，在yolo这种基于规则的anchor检测中，还是存在了挺大的麻烦。在v5出来的时候就迫不及待的尝试了，结果出乎意料，检测接近完美！！当然也和我训练数据有关（做了很多数据增强）。简单看下检测效果。事实证明了v5确实非常强大。

二、实现过程

首先，因为银行卡目标是宽高比比较悬殊的矩形，所以是不能直接用COCO的anchor，可以重新聚类，使用聚类后的anchor训练效果显而易见，收敛速度以及精度提升非常大，聚类代码如下：

# coding=utf-8
import xml.etree.ElementTree as ET
import numpy as np
import glob


def iou(box, clusters):
    """
    计算一个ground truth边界盒和k个先验框(Anchor)的交并比(IOU)值。
    参数box: 元组或者数据，代表ground truth的长宽。
    参数clusters: 形如(k,2)的numpy数组，其中k是聚类Anchor框的个数
    返回：ground truth和每个Anchor框的交并比。
    """
    x = np.minimum(clusters[:, 0], box[0])
    y = np.minimum(clusters[:, 1], box[1])
    if np.count_nonzero(x == 0) > 0 or np.count_nonzero(y == 0) > 0:
        raise ValueError("Box has no area")
    intersection = x * y
    box_area = box[0] * box[1]
    cluster_area = clusters[:, 0] * clusters[:, 1]
    iou_ = intersection / (box_area + cluster_area - intersection)
    return iou_


def avg_iou(boxes, clusters):
    """
    计算一个ground truth和k个Anchor的交并比的均值。
    """
    return np.mean([np.max(iou(boxes[i], clusters)) for i in range(boxes.shape[0])])


def kmeans(boxes, k, dist=np.median):
    """
    利用IOU值进行K-means聚类
    参数boxes: 形状为(r, 2)的ground truth框，其中r是ground truth的个数
    参数k: Anchor的个数
    参数dist: 距离函数
    返回值：形状为(k, 2)的k个Anchor框
    """
    # 即是上面提到的r
    rows = boxes.shape[0]
    # 距离数组，计算每个ground truth和k个Anchor的距离
    distances = np.empty((rows, k))
    # 上一次每个ground truth"距离"最近的Anchor索引
    last_clusters = np.zeros((rows,))
    # 设置随机数种子
    np.random.seed()

    # 初始化聚类中心，k个簇，从r个ground truth随机选k个
    clusters = boxes[np.random.choice(rows, k, replace=False)]
    # 开始聚类
    while True:
        # 计算每个ground truth和k个Anchor的距离，用1-IOU(box,anchor)来计算
        for row in range(rows):
            try:
                distances[row] = 1 - iou(boxes[row], clusters)
            except:
                continue
        # 对每个ground truth，选取距离最小的那个Anchor，并存下索引
        nearest_clusters = np.argmin(distances, axis=1)
        # 如果当前每个ground truth"距离"最近的Anchor索引和上一次一样，聚类结束
        if (last_clusters == nearest_clusters).all():
            break
        # 更新簇中心为簇里面所有的ground truth框的均值
        for cluster in range(k):
            clusters[cluster] = dist(boxes[nearest_clusters == cluster], axis=0)
        # 更新每个ground truth"距离"最近的Anchor索引
        last_clusters = nearest_clusters

    return clusters


# 加载自己的数据集，只需要所有labelimg标注出来的xml文件即可
def load_dataset(path):
    dataset = []
    for xml_file in glob.glob("{}/*xml".format(path)):
        tree = ET.parse(xml_file)
        # 图片高度
        height = int(tree.findtext("./size/height"))
        # 图片宽度
        width = int(tree.findtext("./size/width"))

        for obj in tree.iter("object"):
            # 偏移量
            xmin = int(obj.findtext("bndbox/xmin")) / width
            ymin = int(obj.findtext("bndbox/ymin")) / height
            xmax = int(obj.findtext("bndbox/xmax")) / width
            ymax = int(obj.findtext("bndbox/ymax")) / height
            xmin = np.float64(xmin)
            ymin = np.float64(ymin)
            xmax = np.float64(xmax)
            ymax = np.float64(ymax)
            if xmax == xmin or ymax == ymin:
                print(xml_file)
            # 将Anchor的长宽放入dateset，运行kmeans获得Anchor
            dataset.append([xmax - xmin, ymax - ymin])
    return np.array(dataset)


if __name__ == '__main__':
    ANNOTATIONS_PATH = r"data\Annotations"  # xml文件所在文件夹
    CLUSTERS = 3  # 聚类数量，anchor数量
    INPUTDIM = 416  # 输入网络大小

    data = load_dataset(ANNOTATIONS_PATH)
    out = kmeans(data, k=CLUSTERS)
    print('Boxes:')
    print(np.array(out) * INPUTDIM)
    print("Accuracy: {:.2f}%".format(avg_iou(data, out) * 100))
    final_anchors = np.around(out[:, 0] / out[:, 1], decimals=2).tolist()
    print("Before Sort Ratios:\n {}".format(final_anchors))
    print("After Sort Ratios:\n {}".format(sorted(final_anchors)))

聚类后得到的结果直接修改v5的配置文件，具体训练过程看我上一篇文章，修改好配置文件后训练即可，这里就不写训练的配置过程了，只用了最小的s模型（如果训练效果不好可以尝试上更大的模型），就已经达到了非常好的效果，当然过程效果还要自己去调优，作为参考，附上我的训练效果图：

结合之前的卡号纠正模型，首先在检测之前对卡号进行方向纠正，得到方方正正的卡片正面后再送入检测网络中，最后修改一下后处理，提取卡号的检测坐标，将卡号从图片中截取出来，可以看到效果还是非常不错的：

就这样，一个兼具速度和精度的完美结合的卡号检测模型就出来了，在2070s显卡上，640的输入，推理过程只需10-20ms，快到没朋友，屌爆了有木有。

得到卡号裁剪图后接下来就是进行识别了。也是我认为最难的部分，摸索了老长一段时间。。。