基于计算机视觉的棋盘图像识别

我们利用计算机视觉技术和卷积神经网络（CNN）为这个项目创建分类算法，并确定棋子在棋盘上的位置。最终的应用程序会保存整个图像并可视化的表现出来，同时输出棋盘的2D图像以查看结果。01. 数据
我们对该项目的数据集有很高的要求，因为它最终会影响我们的实验结果。我们在网上能找到的国际象棋数据集是使用不同的国际象棋集、不同的摄影机拍摄得到的，这导致我们创建了自己的数据集。我使用国际象棋和摄像机（GoPro Hero6 Black以“第一人称视角”角度）生成了自定义数据集，这使我的模型更加精确。该数据集包含2406张图像，分为13类（请参阅下文）。总结：这花费了我们很多时间，但是这使得训练图像尽可能地接近在应用程序中使用时所看到的图像。
为了构建该数据集，我首先创建了capture_data.py，当单击S键时，该视频从视频流中获取一帧并将其保存。这个程序使我能够无缝地更改棋盘上的棋子并一遍又一遍地捕获棋盘的图像，直到我建立了大量不同的棋盘配置为止。接下来，我创建了create_data.py，以使用下一部分中讨论的检测技术将其裁剪为单独小块。最后，我通过将裁剪后的图像分成带标签的文件夹来对它们进行分类。

2. 棋盘检测
   对于棋盘检测，我想做的事情比使用OpenCV函数findChessboardCorners复杂的多，但又不像CNN那样高级。使用低级和中级计算机视觉技术来查找棋盘的特征，然后将这些特征转换为外边界和64个独立正方形的坐标。该过程以Canny边缘检测和Hough变换生成的相交水平线、垂直线的交点为中心。层次聚类用于按距离对交叉点进行分组，并对各组取平均值以创建最终坐标（请参见下文）。
3. 棋盘分类

项目伊始，我们想使用Keras / TensorFlow创建CNN模型并对棋子进行分类。但是，在创建数据集之后，仅考虑CNN的大小，单靠CNN就无法获得想要的结果。为了克服这一障碍，我利用了ImageDataGenerator和transfer learning，它增加了我的数据并使用了其他预训练的模型作为基础。
创建CNN模型
为了使用GPU，我在云中创建并训练了CNN模型，从而大大减少了训练时间。快速提示：Google Colab是使用GPU快速入门的简便方法。为了提高数据的有效性，我使用了ImageDataGenerator来扩展原始图像并将模型暴露给不同版本的数据。ImageDataGenerator函数针对每个时期随机旋转，重新缩放和翻转（水平）训练数据，源码交易从本质上创建了更多数据。尽管还有更多的转换选项，但这些转换选项对该项目最有效。
from keras.preprocessing.image import ImageDataGeneratordatagen = ImageDataGenerator( rotation_range=5, rescale=1./255, horizontal_flip=True, fill_mode=‘nearest’)test_datagen = ImageDataGenerator(rescale=1./255)train_gen = datagen.flow_from_directory( folder + ‘/train’, target_size = image_size, batch_size = batch_size, class_mode = ‘categorical’, color_mode = ‘rgb’, shuffle=True)test_gen = test_datagen.flow_from_directory( folder + ‘/test’, target_size = image_size, batch_size = batch_size, class_mode = ‘categorical’, color_mode = ‘rgb’, shuffle=False)
我们没有从头开始训练模型，而是通过利用预先训练的模型并添加了使用我的自定义数据集训练的顶层模型来实现转移学习。我遵循了典型的转移学习工作流程：
1.从先前训练的模型（VGG16）中获取图层。
from keras.applications.vgg16 import VGG16model = VGG16(weights=‘imagenet’)model.summary()
2.冻结他们，以避免破坏他们在训练回合中包含的任何信息。
3.在冻结层的顶部添加了新的可训练层。