miniimagenet的图像预处理代码_只需10分钟即可构建您的首个图像分类模型

“在几分钟内建立一个深度学习模型？“

深度学习是一个广阔的领域，因此我们将缩小我们的注意力并接受解决图像分类项目的挑战。此外，我们将使用一个非常简单的深度学习架构来获得非常令人印象深刻的准确度分数。

您可以将本文中看到的Python代码视为构建Image Classification模型的基准。

目录

1. 什么是图像分类及其用例
2. 设置图像数据的结构
3. 分解模型构建过程
4. 设置问题陈述和理解数据
5. 构建图像分类模型的步骤

什么是图像分类？

你会立即认出这是一辆汽车。退后一步，分析你是如何得出这个结论的，你看见一个图像并且你将它归属到一个类别中。简而言之，这就是图像分类的全部意义所在。

可能存在n个类别，可以对给定图像进行分类。手动检查和分类图像是一个非常繁琐的过程。当我们面对大量的图像，比如10000或甚至100,000时，现实变得几乎不可能。如果我们能够自动完成整个过程并根据相应的类快速标记图像，那将非常的好。

现在我们已经掌握了我们的主题，让我们深入探讨如何构建图像分类模型，它的先决条件是什么，以及如何在Python中实现它。

设置图像数据的结构

我们的数据需要采用特定格式才能解决图像分类问题。

您应该有2个文件夹，一个用于训练集，另一个用于测试集。在训练集中，您将拥有.csv文件和图像文件夹：

• .csv文件包含所有训练图像的名称及其对应的真实标签
• 图像文件夹包含所有训练图像。

我们的测试集中的.csv文件与训练集中的.csv文件不同。测试集中的.csv文件包含所有测试图像的名称，但它们没有任何相应的标签。我们的模型将根据训练集中的图像进行训练，标签预测将在测试集图像上进行。

如果您的数据不是上述格式，则需要相应地进行转换(否则预测会出错)。

分解模型构建过程

在深入研究Python代码之前，让我们花一点时间来了解图像分类模型的设计方式。我们可以将这个过程大致分为4个阶段。每个阶段都需要一定的时间来执行：

1. 加载和预处理数据 - 30％的时间
2. 定义模型架构 - 10％的时间
3. 训练模型 - 50％的时间
4. 绩效评估 - 10％的时间

让我更详细地解释上述每个步骤。需要在每次迭代后返回，微调您的步骤，然后再次运行它。深入了解基本概念将大大加快整个过程。

第1阶段：加载和预处理数据

就深度学习模型而言，数据是黄金。如果您在训练集中有大量图像，那么您的图像分类模型有更好的机会表现良好。此外，数据的形状根据我们使用的架构/框架而有所不同。

因此，关键数据预处理步骤。我强烈建议您阅读“ Python中的图像处理基础知识 ”，以了解有关预处理如何处理图像数据的更多信息。

为了了解我们的模型如何对看不见的数据执行，我们需要创建一个验证集。这是通过划分训练集数据来完成的。

简而言之，我们在训练数据上训练模型并在验证数据上进行验证。一旦我们对模型在验证集上的性能感到满意，我们就可以使用它来对测试数据进行预测。

第2阶段：定义模型的架构

这是我们深度学习模型构建过程中的另一个关键步骤。我们必须定义我们的模型的外观，并且需要回答以下问题：

• 我们需要多少个卷积层？
• 每层的激活函数应该是什么？
• 每层应该有多少隐藏单位？

这些本质上是模型的超参数，它在决定预测的好坏方面起着很大的作用。

第3阶段：训练模型

为了训练模型，我们要求：

• 训练图像及其相应的真实标签
• 验证图像及其相应的真实标签(我们仅使用这些标签来验证模型，而不是在训练阶段)

我们还定义了此步骤中的周期数。对于初学者，我们将运行模型10个周期(周期数量可以自行更改)。

第4阶段：估算模型的性能

最后，我们加载测试数据(图像)并在这里完成预处理步骤。然后我们使用训练的模型预测这些图像的类。

设置问题陈述和理解数据

我们将挑选一个非常酷的挑战来理解图像分类。我们必须建立一个模型，可以根据服装(衬衫，裤子，鞋子，袜子等)对一组给定的图像进行分类。这实际上是许多电子商务零售商面临的问题，这使得它成为一个更有趣的计算机视觉问题。

我们总共有70,000张图像(28 x 28维)，其中60,000张来自训练集，10,000张来自测试集。训练图像根据服装类型预先标记，总共10个类别。当然，测试图像没有标记。挑战在于识别所有测试图像中存在的服装类型。数据与代码可以私信于我

我们是在Google Colab上构建我们的模型，因为它提供了一个免费的GPU来训练我们的模型。

构建模型的步骤

现在开始亲自动手使用Python构建图像分类模型。

1. 设置Google Colab()
2. 导入库
3. 加载和预处理数据 - (3分钟)
4. 创建验证集
5. 定义模型结构 - (1分钟)
6. 训练模型 - (5分钟)
7. 做出预测 - (1分钟)

让我们详细看一下每一步。

第1步：设置Google Colab(这里不再详细介绍)

第2步 ：导入我们在模型构建阶段需要的库

import kerasfrom keras.models import Sequentialfrom keras.layers import Dense, Dropout, Flattenfrom keras.layers import Conv2D, MaxPooling2Dfrom keras.utils import to_categoricalfrom keras.preprocessing import imageimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_splitfrom keras.utils import to_categoricalfrom tqdm import tqdm

第3步：回顾我们之前讨论过的预处理步骤。我们将在加载数据后在这里使用

train = pd.read_csv('train.csv')

接下来，我们将读取所有训练图像，将它们存储在列表中，最后将该列表转换为numpy数组。

# We have grayscale images, so while loading the images we will keep grayscale=True, if you have RGB images, you should set grayscale as Falsetrain_image = []for i in tqdm(range(train.shape[0])): img = image.load_img('train/'+train['id'][i].astype('str')+'.png', target_size=(28,28,1), grayscale=True) img = image.img_to_array(img) img = img/255 train_image.append(img)X = np.array(train_image)

由于它是一个多类分类问题(10个类)，我们将目标变量设置为独热编码。

y=train['label'].valuesy = to_categorical(y)

步骤4：从训练数据创建验证集

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42, test_size=0.2)

第5步：定义模型结构

我们将创建一个具有2个卷积层，一个密集隐藏层和一个输出层的简单架构。

model = Sequential()model.add(Conv2D(32, kernel_size=(3, 3),activation='relu',input_shape=(28,28,1)))model.add(Conv2D(64, (3, 3), activation='relu'))model.add(MaxPooling2D(pool_size=(2, 2)))model.add(Dropout(0.25))model.add(Flatten())model.add(Dense(128, activation='relu'))model.add(Dropout(0.5))model.add(Dense(10, activation='softmax'))

接下来，我们将编译我们创建的模型。

model.compile(loss='categorical_crossentropy',optimizer='Adam',metrics=['accuracy'])

第6步：训练模型

在这一步中，我们将在训练集图像上训练模型，并使用验证集对其进行验证。

model.fit(X_train, y_train, epochs=10, validation_data=(X_test, y_test))

第7步：做出预测

我们将首先按照处理训练数据时执行的步骤。使用model.predict_classes()函数加载测试图像并预测其类。

download = drive.CreateFile({'id': '1KuyWGFEpj7Fr2DgBsW8qsWvjqEzfoJBY'})download.GetContentFile('test_ScVgIM0.zip')!unzip test_ScVgIM0.zip

让我们导入测试文件：

test = pd.read_csv('test.csv')

现在，我们将读取并存储所有测试图像：

test_image = []for i in tqdm(range(test.shape[0])): img = image.load_img('test/'+test['id'][i].astype('str')+'.png', target_size=(28,28,1), grayscale=True) img = image.img_to_array(img) img = img/255 test_image.append(img)test = np.array(test_image)# making predictionsprediction = model.predict_classes(test)

您可以尝试使用超参数调整和正则化技术来进一步提高模型的性能。