综述
本项目旨在通过一个公开数据集,训练一个可以将图片中的猫和狗进行分类的模型。
数据集包括25,000 张训练数据。其中猫和狗的照片各 12,500 张。测试集/验证集总共包括 12,500 张图片。
本项目将使用 Keras 作为工具包。使用 GPU 进行训练。
图像预览
这里我们首先预览两张训练集中的图片。比如这一张:
我们打印一下图片的名称和尺寸:
dog.10011.jpg
(415, 449, 3)
换一张猫的图片试试
我们再来打印一下
cat.10011.jpg
(198, 179, 3)
可以看到,图片都是以 jpg 格式存储,并且以 label.num 来进行命名。这张即表示,这是测试集中的第 10011 张猫的照片。
能够正确理解数据存储格式非常重要,因为这样,我们才能高效、正确的使用我们的数据。
至此,我们对于数据集的理解如下:
- 训练集一共25000张图片,猫和狗各一半。测试集一共12500张图片。
- 图片均为 rgb 三维的 jpg 图片。
- 图片命名即表示了该图片的分类。
- 图片尺寸不一,没有进行统一处理。
因此,对于数据预处理部分,我们的思路就非常清晰了:
- 我们使用 rgb 图片进行训练,所以无需进行 grayscale
- 所有图片都需要统一成 (224, 224, 3) 尺寸
- 我们需要对图片数据进行 normalization。
数据预处理
由于图片的数量和尺寸较大,我们不可能将所有图片一次性带入到内存中训练。
因此,我们通过将设定批次将图片输送给神经网络训练的方式,来达到目的。而 Keras 很好的提供了相应的方法。
对于二分类问题,Keras 提供了一一种很好的解决思路。不同于通用的将 label 进行 one-hot encoding。我们可以通过将不同标签的图片放入不同文件夹的方式来达到同样的目的。实现此方法的代码如下:
import os
train_file = './train/'
cat_tartget_file = './keras_train/cat/'
dog_target_file = './keras_train/dog/'
train_cat_names = [i for i in os.listdir(train_file) if 'cat' in i]
train_dog_names = [i for i in os.listdir(train_file) if 'dog' in i]
import shutil
for name in train_cat_names:
src = train_file + name
dst = cat_tartget_file + name
shutil.copyfile(src, dst)
for name in train_dog_names:
src = train_file + name
dst = dog_target_file + name
shutil.copyfile(src