mnist数据集python导入_10分钟内用Python创建类似MNIST的数据集，并提供可配置接口

构建您的完全可配置接口，以在10分钟内使用Python创建类似MNIST的数据集

逐步使用用户友好的python界面，以从JSON配置文件(带有代码)写入数据集

对于个人项目，也许是论文(手指交叉)，我需要创建类似MNIST的数据集。我认为这可能对其他人有用。因此，我将解释如何使用Python 编写此接口的代码。(github仓库)

本文的目的是能够尽可能灵活和快速地设计自己的界面。该界面将允许我们用鼠标绘制字符，其他所有操作都将通过配置文件中指定的大量参数自动完成。

完全可配置

我一直在寻找一个来自JSON文件的完全可配置的接口。无需触摸代码，它变得灵活，方便和可扩展。在本文中，我们将讨论不同的参数，但所有内容都包含在我命名的文件中config.json。您可以随意命名。它允许您更改：

• 我们绘制图像的大小。
• 输出图像的大小以完成数据集。
• 每个类的预期图像数量，首选绘图节奏以及输出图像的呈现状态。
• 包含数据集的文件夹名称，可以为每个类创建子文件夹。
• 我们铅笔的大小，强度和褪色。
• 的插值方法(一个或多个)。
• 类的名称。

存储和实用程序

首先是第一件事。我们需要知道如何组织数据。在文件中，config.json我们有storage一部分：

• root(str)：数据集根文件夹的路径
• by_class_name(bool)：存储数据集的方式

{  "input":  {      "H": 512,      "W": 512,      "thickness": 0.01  },  "output":  {      "H": 28,      "W": 28  },  "process":  {      "volume": 10,      "selection": "ROTATE",      "display_output": true  },  "storage":  {      "root": "dataset",      "by_class_name": true  },  "line":  {      "thickness": [0.03, 0.06, 0.12],      "range_value": [128, 255],      "fading": 0.5  },  "interpolation":  {      "method": ["INTER_NEAREST", "INTER_AREA", "INTER_CUBIC"],  },  "classes" :  [      "0",      "1",      "2",      "3",      "4",      "5",      "6",      "7",      "8",      "9"  ]}

我们所有的图像都将具有相同的图案。图像的名称将始终以类的名称开头。然后是一个下划线，然后是一个5个字符的数字来标识它。所以我们有一种root/(subfolderclass)/name_id.png格式。

您会注意到ID的设置是递增的。换句话说，您可以看到每个类已经生成了多少个图像。但是，作为用户，您可能需要也可能不需要在这些文件夹中放置其他文件，有时甚至删除图像或重命名它们。我们将在代码的开头放置一小部分以自动重新排列图像名称。

在一个utils.py我们设置一些功能：

• get_json：将JSON文件的内容作为python 字典返回。
• check_folder_path：检查文件夹是否存在，否则创建一个新文件夹。
• order_filename_by_prefix：以正确的名称格式对文件重新排序。

我们想要的是能够手动绘制角色(鼠标)。从绘图窗口，我们要快速创建我们的数据。然后，我们需要class Designer将其存储在designer.py文件中。要了解为什么需要此类，让我们仔细看一下配置文件中的一些参数：

• 输入：包含要绘制的图像的尺寸和绘图铅笔的厚度(仅用于可视化)。
• output：包含输出图像的尺寸以构成我们的数据集。
• 插值 → 方法(str或str列表)：我们的绘图图像和输出图像的尺寸不相同。因此，我们需要一种插值方法来调整图像大小。然后，我们通过提供所有插值方法的选择OpenCV的：INTER_NEAREST，INTER_LINEAR，INTER_AREA，INTER_CUBIC，INTER_LANCZOS4。我们可以精确RANDOM地更改每个图像的插值方法。此参数可以是一个列表：在这种情况下，指定的插值方法将与设计者一样多，因此输入图像的输出图像也将与之相同。
• 线→厚度(浮动或浮动列表)：输出图像上的铅笔厚度与图像的对角线成比例。此参数可以是一个列表：在这种情况下，设计师的数量与笔的粗细一样多。结果是一个结合了插值方法和指定厚度的设计器矩阵。
• line→range_value(整数或整数列表)：绘制像素时的强度。在列表的情况下：绘制像素的强度将在指定范围内随机选择。
• line→淡入淡出(float)：线条边缘上的淡入淡出值，淡入淡出是线性的。对价值没有影响fading=1

请注意，绘制将通过线条合成完成。因此，角色扮演draw(self, pt_1, pt2)。因此，我们仍然必须能够使用鼠标来控制所有这些。

首先，我们需要创建一个class Controller，然后从配置字典中对其进行初始化。

在初始化期间，发生了几件事：

• 提取所有配置参数。
• 验证文件夹是否存在，如果不存在，请创建它们。
• 初始化设计师。
• 按类别计算已完成的图像数量。
• 创建用于绘图的OpenCV 窗口和用于可视化的OpenCV 窗口。

为了创建我们所有的设计师，将有一个设计师矩阵，垂直的代表铅笔厚度，水平的代表插值方法。同时，我们可以创建一个函数来捕获绘图窗口上的鼠标事件。您只能在按下鼠标左键的情况下进行绘制。最后，您可以检索已经绘制的图像数量。

在绘制之前，让我们看一下最后一个参数建议process：

• volume(int)：每个类别要达到的图片数量。
• selection(str)：选择要绘制的下一个字符的方式。可以是RANDOM，CLASSBYCLASS可以在写其他字符之前完成一个字符，也ROTATE 可以通过在不同类上旋转来进行更改。
• display_output(布尔)：显示或不显示输出窗口。

现在，您可以创建一个新图像以进行绘制，绘制并将其保存为正确的格式(root/(subfolderclass)/name_id.png)。

剩下的就是能够从OpenCV窗口查看所有内容并运行程序，只要未达到每个类的图像量即可。

主要

最后，为了更加方便，我们可以让用户选择使用外壳程序中的命令指定其配置文件：

python3 main.py -c path / to / the / config / file.json 或python3 main.py -config path / to / the / config / file.json