概述
如何用深度学习框架做分类,具体步骤应该是什么?应该怎么做?本文以keras(2.0版以上)为框架来具体讲解训练自己的网络来进行图片分类的步骤:
1.准备好自己的数据集,并按照train,test,validation来划分
2.阅读论文或者相关博客,搭建自己的模型。
3.根据经验进行超参选择(学习率,数据批量训练的个数等)和数据预处理(如归一化)
4.进行训练并分析结构,根据结果进行优化(如过拟合就增强数据集或者优化结构等)
5.(附加)可视化隐藏层输出结果以及权重,解释分类原理
注意:本博文使用的pycharm编译器。
数据集
实际工程中,大多情况下你可能都是用不多的数据来训练图像分类模型的。因此,这里使用小数据集作为例子。我们采用“猫狗数据集”来进行训练网络,它是由Kaggle.com在2013年年底作为计算机视觉竞赛的一部分提供的,下载地址是这里 ,不过注册挺麻烦的,下直接下载的朋友可以在这里进行下载。然后用一下脚本对文件夹中的“train”(我们这里只用这个文件)进行分类,代码如下:
import os, shutil
# dataset was uncompressed
original_dataset_dir = './train'
# The directory where we will
# store our smaller dataset
base_dir = './cats_and_dogs_small'
os.mkdir(base_dir)
# Directories for our training,
# validation and test splits
train_dir = os.path.join(base_dir, 'train')
os.mkdir(train_dir)
validation_dir = os.path.join(base_dir, 'validation')
os.mkdir(validation_dir)
test_dir = os.path.join(base_dir, 'test')
os.mkdir(test_dir)
# Directory with our training cat pictures
train_cats_dir = os.path.join(train_dir, 'cats')
os.mkdir(train_cats_dir)
# Directory with our training dog pictures
train_dogs_dir = os.path.join(train_dir, 'dogs')
os.mkdir(train_dogs_dir)
# Directory with our validation cat pictures
validation_cats_dir = os.path.join(validation_dir, 'cats')
os.mkdir(validation_cats_dir)
# Directory with our validation dog pictures
validation_dogs_dir = os.path.join(validation_dir, 'dogs')
os.mkdir(validation_dogs_dir)
# Directory with our validation cat pictures
test_cats_dir = os.path.join(test_dir, 'cats')
os.mkdir(test_cats_dir)
# Directory with our validation dog pictures
test_dogs_dir = os.path.join(test_dir, 'dogs')
os.mkdir(test_dogs_dir)
# Copy first 1000 cat images to train_cats_dir
fnames = ['cat.{}.jpg'.format(i) for i in range(1000)]
for fname in fnames:
src = os.path.join(original_dataset_dir, fname)
dst = os.path.join(train_cats_dir, fname)
shutil.copyfile(src, dst)
# Copy next 500 cat images to validation_cats_dir
fnames = ['cat.{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:
src = os.path.join(original_dataset_dir, fname)
dst = os.path.join(validation_cats_dir, fname)
shutil.copyfile(src, dst)
# Copy next 500 cat images to test_cats_dir
fnames =