图片从预处理到分类的过程

参考： 图片预处理
分类

1. 图片预处理

（1.1）建立2个文件夹

一个是训练集文件夹，另一个是测试集文件夹

（1.2）训练集文件夹

训练集文件夹中有1个.csv文件和1个图像文件夹，.图像文件夹存放所有的训练图片，.csv文件存放图片名称，以及其对应的图片标签

（1.3）测试集文件夹

我们的测试集中的.csv文件不同于训练集中的.csv文件。该测试集.csv文件包含所有测试图像的名称，但是它们没有任何相应的标签。你能猜出为什么吗？我们的模型将在训练集中存在的图像上进行训练，标签预测将在测试集中的图像上进行。

注意：如果您的数据不是上述格式，则需要对其进行相应的转换（否则，预测将不正确且非常无用）

2. 加载和预处理数据

首先，需要创建一个验证集。这是从训练集划分过来的。

简而言之，我们在训练数据上训练模型，并在验证数据上对其进行验证。一旦对验证集上的模型性能感到满意，就可以将其用于对测试数据进行预测。

3. 定义模型结构

在定义模型结构之前，必须先知道几个问题：
（a）我们想要多少个卷积层？
（b）每层的激活函数应该是什么？
（c）每层应有多少个隐藏单元？

还有很多。这些本质上是模型的超参数，在决定预测的好坏方面起着巨大的作用。

我们如何确定这些超参数？

这是一个很好的问题！一个想法是根据现有的研究来选择这些超参数。另一个想法是继续尝试这些值，直到找到最佳匹配为止，但这可能是一个非常耗时的过程。

4. 训练模型

为了训练模型，我们需要：
（a）训练图像及其对应的真实标签
（b）验证图像及其相应的真实标签（我们仅在训练阶段使用这些标签来验证模型，而未使用它们）

5.评估模型

最后，我们加载测试数据（图像）并在此进行预处理步骤。然后，我们使用训练好的模型来预测这些图像的类别。

6.实现

import keras
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D
from keras.utils import to_categorical
from keras.preprocessing import image
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from keras.utils import to_categorical
from tqdm import tqdm

#加载数据
train = pd.read_csv('train.csv')
#将训练集的图片转成训练的数据
#我们将读取所有训练图像，将它们存储在列表中，最后将该列表转换为numpy数组。
＃我们具有灰度图像，因此在加载图像时，我们将保持灰度= True，如果您具有RGB图像，则应将灰度设置为False
train_image = []
for i in tqdm(range(train.shape[0])):
    img = image.load_img('train/'+train['id'][i].astype('str')+'.png', target_size=(28,28,1), grayscale=True)
    img = image.img_to_array(img)
    img = img/255
    train_image.append(img)
X = np.array(train_image)

#由于这是一个多类分类问题（10个类），我们将对标签进行一次编码。
y=train['label'].values
y = to_categorical(y)

#根据训练集划分出验证集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42, test_size=0.2)```

#定义模型结构
#定义2个卷积层，1一个全连接的隐藏层和输出层
model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3),activation='relu',input_shape=(28,28,1)))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(10, activation='softmax'))

model.compile(loss='categorical_crossentropy',optimizer='Adam',metrics=['accuracy'])

#训练模型
model.fit(X_train, y_train, epochs=10, validation_data=(X_test, y_test))

#预测数据
#读取预测的数据
test = pd.read_csv('test.csv')
test_image = []
for i in tqdm(range(test.shape[0])):
    img = image.load_img('test/'+test['id'][i].astype('str')+'.png', target_size=(28,28,1), grayscale=True)
    img = image.img_to_array(img)
    img = img/255
    test_image.append(img)
test = np.array(test_image)

#开始预测
prediction = model.predict_classes(test)

#保持预测的结果
sample = pd.read_csv('sample_submission_I5njJSF.csv')
sample['label'] = prediction
sample.to_csv('sample_cnn.csv', header=True, index=False)