手写多位数字识别器实现 （转载请注明出处！）

1、主要功能

①界面化的输入方式，进行实时数字识别

②可以识别多位的数字，例如23，234

③CNN进行数字识别

 

2、运行环境

Windows10、python3.7+、tensorflow2.x

 

3、步骤介绍

神经网络的模型可以自己训练或调用./model下已经训练好的模型，用tf2.x实现，对图片的预处理等是利用opencv和PIL实现的，界面使用PyQt5,该识别器可以实时识别从GUI中画出的数字图片，利用截图的方式存储图片，并对图片进行预处理，进行字符分割成多个图片进行CNN识别，最终以一图一数字的形式组合返回至前端。

具体过程：

 

4、细节

具体的界面代码在下方的链接中，这里稍微说一下图片字符分割部分：

    # 按行切割,此时grayscaleimg为 50x100 矩阵，50 行，100列，每个元素不是0就是255
    row_nz = []
    # 将每行展成一个list,即有50个list
    for row in grayscaleimg.tolist():
        row_nz.append(len(row) - row.count(0))
    # row_nz里存储每行值和不为0的列数 eg.[0, 0, 0, 0, 0, 0, 7, 15, 16, 9, 10, 9, 9, 11, 14, 25, 32, 24, 20, 13, 7, 7,
    # 7, 9, 10, 10, 9, 9, 9, 14, 19, 14, 3, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] 50
    # 代表在第6行(0开始)有7列元素不为0

    # 找到上界(即第一个开始出现笔画的行号) 记为第upper_y列
    upper_y = 0
    for i, x in enumerate(row_nz):
        if x >= 1:  # 若一行中出现大于两个地方有笔画(255)
            upper_y = i
            break

    # 找到下界(即最后一个出现笔画的行号) 记为第lower_y列
    lower_y = 0
    for i, x in enumerate(row_nz[::-1]):
        if x >= 1:
            lower_y = len(row_nz) - i
            break

    # 按上下界进行切割，将没有笔画的上部分和下部分都丢弃，留下中间带有笔画的区域
    sliced_y_img = grayscaleimg[upper_y: lower_y, :]

    # 同理，按列切割，此时grayscaleimg为 (lower_y - upper_y)x100 矩阵
    col_nz = []
    # 将每行展成一个list,即有100个list
    for col in sliced_y_img.T.tolist():
        col_nz.append(len(col) - col.count(0))

    # 寻找每个字符的左边界和右边界,column_boundary_list存储每个字符的起始列号
    column_boundary_list = []
    # record = False
    for i, x in enumerate(col_nz[:-1]):
        # 如果第i列无笔画(和为0)，第i+1列有笔画，可以认为i列是某个字符的左边界
        if col_nz[i] <= 1 and col_nz[i + 1] > 1:
            column_boundary_list.append(i)
        # 如果第i列有笔画，第i+1列无笔画，可以认为i列是某个字符的右边界
        elif col_nz[i] >= 1 and col_nz[i + 1] < 1:
            column_boundary_list.append(i + 1)
    # 此时若书写32, column_boundary_list里存储的类似于[20, 31, 56, 89]，即20-31列代表'3', 56-89列代表'2'

    # 存储分割后的图片
    img_list = []  # img_list存储每幅图的矩阵
    xl = [column_boundary_list[i:i + 2] for i in range(0, len(column_boundary_list), 2)]
    for x in xl:
        s = len(x)
        if len(x) == 2 and x[1] - x[0] > 5:
            s = fill(sliced_y_img[:, x[0]:x[1]])  # 从sliced_y_img截取每幅图的列,进行背景填充
            img_list.append(s)                    # 将填充后的矩阵存入img_list


    img_list = [x for x in img_list if x.shape[1] > 5]
    print("数字位数为: ", len(img_list))  # 输出总的字符数，即图片数

最后再对img_list里的图片调用识别函数进行识别，返回单一数字加入list中。

 

5、样例

 

完整代码：https://github.com/GusionTan/HandwrittenDigitRecognitio

欢迎探讨，喜欢的话麻烦点个星，转载请注明出处。