目标
在本章中
- 我们将利用所学的 kNN 知识来构建一个基本的 OCR(光学字符识别)应用程序。
- 我们将在 OpenCV 自带的数字和字母数据上试用我们的应用程序。
手写数字 OCR
我们的目标是开发一款能够读取手写数字的应用程序。为此,我们需要一些训练数据和测试数据。OpenCV 附带了一张 digits.png 图像(位于 opencv/samples/data/ 文件夹中),其中包含 5000 个手写数字(每个数字 500 个)。每个数字都是 20x20 的图像。因此,我们的第一步是将该图像分割成 5000 个不同的数字图像。然后,对于每个数字(20x20 像素),我们将其扁平化为一列 400 像素的图像。这就是我们的特征集,即所有像素的强度值。这是我们可以创建的最简单的特征集。我们将每个数字的前 250 个样本作为训练数据,将其他 250 个样本作为测试数据。因此,让我们先准备好它们。
import numpy as np
导入 cv2 为 cv
img = cv.imread('digits.png')
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
# 现在我们将图像分割成 5000 个单元格,每个单元格的大小为 20x20
cells = [np.hsplit(row,100) for row in np.vsplit(gray,50)] # 将其转换为 Numpy 数据。
# 将其转换为 Numpy 数组:大小为 (50,100,20,20)
x = np.array(cells)
# 现在我们准备训练数据和测试数据
train = x[:,:50].reshape(-1,400).astype(np.float32) # 大小 = (2500,400)
test = x[:,50:100].reshape(-1,400).astype(np.float32) # 大小 = (2500,400)
# 为训练数据和测试数据创建标签
k = np.arange(10)
train_labels = np.repeat(k,250)[:,np.newaxis] # 为训练数据和测试数据创建标签
test_labels = train_labels.copy()
# 启动 kNN,用训练数据对其进行训练,然后用 k=1 的测试数据对其进行测试
knn = cv.ml.KNearest_create()
knn.train(train, cv.ml.ROW_SAMPLE, train_labels)
ret,result,neighbours,dist = knn.findNearest(test,k=5)
# 现在我们检查分类的准确性
# 为此,将结果与 test_labels 进行比较,检查哪些是错误的
matches = result==test_labels
correct = np.count_nonzero(matches)
accuracy = correct*100.0/result.size
print( accuracy )
这样,我们的基本 OCR 应用程序就准备就绪了。这个例子的准确率为 91%。提高准确率的一个办法是增加训练数据,尤其是错误较多的数字。
与其每次启动应用程序时都查找这些训练数据,不如将其保存起来,这样下次就可以直接从文件中读取这些数据并开始分类。这可以借助一些 Numpy 函数来实现,如 np.savetxt、np.savez、np.load 等。详情请查看 NumPy 文档。
# 保存数据
np.savez('knn_data.npz',train=train, train_labels=train_labels)
# 现在加载数据
with np.load('knn_data.npz') as data:
print( data.files )
train = data['train']
train_labels = data['train_labels']
在我的系统中,大约需要 4.4 MB 内存。由于我们使用强度值(uint8 数据)作为特征,因此最好先将数据转换为 np.uint8 格式,然后再保存。在这种情况下只需 1.1 MB。然后在加载时,可以再转换回 float32。
英文字母的 OCR
接下来,我们将对英文字母进行同样的处理,但数据和特征集略有不同。在这里,OpenCV 提供了一个数据文件 letter-recognition.data,而不是图像,它位于 opencv/samples/cpp/ 文件夹中。打开该文件,你会看到 20000 行数据,乍一看像是垃圾。实际上,每一行的第一列都是一个字母,也就是我们的标签。接下来的 16 个数字是不同的特征。这些特征来自 UCI 机器学习库。你可以在本页找到这些特征的详细信息。
有 20000 个可用样本,因此我们将前 10000 个样本作为训练样本,剩余 10000 个样本作为测试样本。我们应该将字母改为 ascii 字符,因为我们无法直接处理字母。
import cv2 as cv
import numpy as np
# 加载数据并将字母转换为数字
data= np.loadtxt('letter-recognition.data', dtype= 'float32', delimiter = ','、
converters= {0: lambda ch: ord(ch)-ord('A')})
# 将数据集一分为二,训练集和测试集各 10000 个样本
train, test = np.vsplit(data,2)
# 将 trainData 和 testData 拆分为特征和响应
responses, trainData = np.hsplit(train,[1])
labels, testData = np.hsplit(test,[1])
# 启动 kNN、分类、测量准确率
knn = cv.ml.KNearest_create()
knn.train(trainData, cv.ml.ROW_SAMPLE, responses)
ret, result, neighbours, dist = knn.findNearest(testData, k=5)
correct = np.count_nonzero(result == labels)
accuracy = correct*100.0/10000
print( accuracy )
准确率为 93.22%。同样,如果你想提高准确率,可以反复添加更多数据。
其他资源
练习
这里我们使用了 k=5。如果尝试其他 k 值,会发生什么情况?你能找到一个最大化准确性(最小化错误数量)的值吗?