使用 kNN 对手写数据进行 OCR 识别 OpenCV-Python v4.7.0

目标

在本章中

• 我们将利用所学的 kNN 知识来构建一个基本的 OCR（光学字符识别）应用程序。
• 我们将在 OpenCV 自带的数字和字母数据上试用我们的应用程序。

手写数字 OCR

我们的目标是开发一款能够读取手写数字的应用程序。为此，我们需要一些训练数据和测试数据。OpenCV 附带了一张 digits.png 图像（位于 opencv/samples/data/ 文件夹中），其中包含 5000 个手写数字（每个数字 500 个）。每个数字都是 20x20 的图像。因此，我们的第一步是将该图像分割成 5000 个不同的数字图像。然后，对于每个数字（20x20 像素），我们将其扁平化为一列 400 像素的图像。这就是我们的特征集，即所有像素的强度值。这是我们可以创建的最简单的特征集。我们将每个数字的前 250 个样本作为训练数据，将其他 250 个样本作为测试数据。因此，让我们先准备好它们。

import numpy as np
导入 cv2 为 cv
img = cv.imread('digits.png')
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
# 现在我们将图像分割成 5000 个单元格，每个单元格的大小为 20x20
cells = [np.hsplit(row,100) for row in np.vsplit(gray,50)] # 将其转换为 Numpy 数据。
# 将其转换为 Numpy 数组：大小为 (50,100,20,20)
x = np.array(cells)
# 现在我们准备训练数据和测试数据
train = x[:,:50].reshape(-1,400).astype(np.float32) # 大小 = (2500,400)
test = x[:,50:100].reshape(-1,400).astype(np.float32) # 大小 = (2500,400)
# 为训练数据和测试数据创建标签
k = np.arange(10)
train_labels = np.repeat(k,250)[:,np.newaxis] # 为训练数据和测试数据创建标签
test_labels = train_labels.copy()
# 启动 kNN，用训练数据对其进行训练，然后用 k=1 的测试数据对其进行测试
knn = cv.ml.KNearest_create()
knn.train(train, cv.ml.ROW_SAMPLE, train_labels)
ret,result,neighbours,dist = knn.findNearest(test,k=5)
# 现在我们检查分类的准确性
# 为此，将结果与 test_labels 进行比较，检查哪些是错误的
matches = result==test_labels
correct = np.count_nonzero(matches)
accuracy = correct*100.0/result.size
print( accuracy )

这样，我们的基本 OCR 应用程序就准备就绪了。这个例子的准确率为 91%。提高准确率的一个办法是增加训练数据，尤其是错误较多的数字。

与其每次启动应用程序时都查找这些训练数据，不如将其保存起来，这样下次就可以直接从文件中读取这些数据并开始分类。这可以借助一些 Numpy 函数来实现，如 np.savetxt、np.savez、np.load 等。详情请查看 NumPy 文档。

# 保存数据
np.savez('knn_data.npz',train=train, train_labels=train_labels)
# 现在加载数据
with np.load('knn_data.npz') as data:
    print( data.files )
    train = data['train']
    train_labels = data['train_labels']

在我的系统中，大约需要 4.4 MB 内存。由于我们使用强度值（uint8 数据）作为特征，因此最好先将数据转换为 np.uint8 格式，然后再保存。在这种情况下只需 1.1 MB。然后在加载时，可以再转换回 float32。

英文字母的 OCR

接下来，我们将对英文字母进行同样的处理，但数据和特征集略有不同。在这里，OpenCV 提供了一个数据文件 letter-recognition.data，而不是图像，它位于 opencv/samples/cpp/ 文件夹中。打开该文件，你会看到 20000 行数据，乍一看像是垃圾。实际上，每一行的第一列都是一个字母，也就是我们的标签。接下来的 16 个数字是不同的特征。这些特征来自 UCI 机器学习库。你可以在本页找到这些特征的详细信息。

有 20000 个可用样本，因此我们将前 10000 个样本作为训练样本，剩余 10000 个样本作为测试样本。我们应该将字母改为 ascii 字符，因为我们无法直接处理字母。

import cv2 as cv
import numpy as np
# 加载数据并将字母转换为数字
data= np.loadtxt('letter-recognition.data', dtype= 'float32', delimiter = ','、
                    converters= {0: lambda ch: ord(ch)-ord('A')})
# 将数据集一分为二，训练集和测试集各 10000 个样本
train, test = np.vsplit(data,2)
# 将 trainData 和 testData 拆分为特征和响应
responses, trainData = np.hsplit(train,[1])
labels, testData = np.hsplit(test,[1])
# 启动 kNN、分类、测量准确率
knn = cv.ml.KNearest_create()
knn.train(trainData, cv.ml.ROW_SAMPLE, responses)
ret, result, neighbours, dist = knn.findNearest(testData, k=5)
correct = np.count_nonzero(result == labels)
accuracy = correct*100.0/10000
print( accuracy )

准确率为 93.22%。同样，如果你想提高准确率，可以反复添加更多数据。

其他资源

维基百科关于光学字符识别的文章

练习

这里我们使用了 k=5。如果尝试其他 k 值，会发生什么情况？你能找到一个最大化准确性（最小化错误数量）的值吗？