基于VGG16网络模型对图像进行识别分类
随着人工智能热潮的发展,图像识别已经成为了其中非常重要的一部分。图像识别是指计算机对图像进行处理、分析,以识别其中所含目标的类别及其位置(即目标检测和分类)的技术。其中图像分类是图像识别的一个类,是给定一幅测试图像,利用训练好的分类器判定它所属的类别。
该项目分为三部分:
- 第一部分:系统驱动的安装与环境的搭建
- 第二部分:利用VGG16网络进行模型训练与预测
- 第三部分:通过模型算法的部署,实现模型预测的页面可视化
本文主要讲解的是项目中的第二部分,其余两部分可通过Github了解
项目中所有的代码及数据集已放入Github
作者信息
广东科学技术职业学院 计算机工程技术学院(人工智能学院)AI应用实验室
主要从事深度学习算法、计算机视觉、智能算法应用与部署,基于人工智能,计算机视觉算法web前后端应用开发,android开发,微信小程序开发,可以承接相关的项目开发业务。QQ群:971601256
成员:
邹嘉龙,主要研究方向:图像识别。
指导老师:胡建华,余君
数据集的获取
本文的数据集中包含五个类,分别是Animal(动物)、Architecture(建筑)、people(人)、plane(飞机)、Scenery(风景)。由于身边条件的欠缺,数据集的获取途径主要通过爬取百度图片的方式获取,并将相同类的图片放在同一文件夹(代码:Reptile_img.py
)。
爬取一个类示例:
注意:保存的图片采用英文格式,不然后续无法利用OpenCV读入。
数据集的清洗及读取
由于获取的图片数据集较为杂乱,所以我们需要人为清洗数据,以提高数据集的准确性。而后,数据集中可能会存在无法利用OpenCV读取的图片,我们采取遍历所有文件,并将其读入,将无法读入显示的图片删除,保证数据集的正确性(代码:open_img.py
)。
将所有图片读取示例:
出现下方错误证明是爬取的图片无法读入,找到相对应的图片删除就好。
数据增强
清洗处理以后,我们五个类的图片集数量分别为:
类别 | 数量 |
---|---|
Animal | 500张 |
Architecture | 500张 |
people | 700张 |
plane | 500张 |
Scenery | 700张 |
总体来说,数据集的数量太少,得出的模型可能存在模型泛化能力不强的情况。所以利用数据增强,对图片集进行随即旋转、平移变换、缩放变换、剪切变换、水平翻转等等操作,使得每张数据集得到50张处理后的图片,并保存在原本的文件夹下,整个数据集得到扩大(代码:data_augmentation.py
)。
代码示例:
from keras.preprocessing.image import ImageDataGenerator
import os
import cv2
datagen = ImageDataGenerator(
rotation_range=20,
width_shift_range=0.15,
height_shift_range=0.15,
zoom_range=0.15,
shear_range=0.2,
horizontal_flip=True,
fill_mode='nearest')
dir = './data/'
path = os.path.abspath(dir)
all_file = os.listdir(dir)
all_file.sort()
i = 0
for file1 in all_file:
# print(file1)
img_file = os.listdir(os.path.join(path, file1))
img_file.sort()
for file2 in img_file:
img = cv2.imread(os.path.join(path, file1, file2))
x = img.reshape((1,) + img.shape) # datagen.flow要求rank为4 (1, x.shape)
datagen.fit(x)
prefix = file2.split('.')[0] # 以 . 分离字符串,去掉后缀
counter = 0
for batch in datagen.flow(x, batch_size=32, save_to_dir=dir + all_file[i], save_prefix=prefix, save_format='jpg'):
counter += 1
print(file2, '======', counter)
if counter > 30:
break # 否则生成器会退出循环
i += 1
rotation_range=20 图片随机旋转20°
width_shift_range=0.15 图片宽度随机水平偏移0.15
height_shift_range=0.15 图片高度随机竖直偏移0.15
zoom_range=0.15 随机缩放幅度为0.15
shear_range=0.2 剪切强度为0.15
horizontal_flip=True 随机对图片进行水平翻转
模型训练
利用处理好的数据集导入Keras自带VGG16网络结构,进行模型训练,并将模型保存。为了方便后续的调参,将每次不同batch、epoch、size的测试loss、accuracy写入txt文本,最后通过不断调参画出折线图,得出最佳的一个模型(代码:TrainAndTest_VGG.py
)。
将五个类的文件夹按ASCII大小排序,并输出相对应的标签
def CountFiles(path):
files = []
labels = []
path = os.path.abspath(path)
subdirs = os.listdir(path)
# print(subdirs)
subdirs.sort()
for index in range(len(subdirs)):
subdir = os.path.join(path, subdirs[index])
sys.stdout.flush()
print("label --> dir : {} --> {}".format(index, subdir))
for image_path in glob.glob("{}/*.jpg".format(subdir)):
files.append(image_path)
labels.append(index)
# 将标签与数值对应输出
return files, labels, len(subdirs)
将数据集中每张图片的数据与对应的标签绑定,随机打乱后将标签转为One-Hot码。
files, labels, clazz = CountFiles(r"data")
c = list(zip(files, labels))
random.shuffle(c)
files, labels = zip(*c) # 数值与标签绑定,并随机打乱
labels = np.array(labels)
labels = keras.utils.to_categorical(labels, clazz) # 将标签转为One-Hot码
加载模型并预测展示
选取五个类中的一个类的图片,加载模型训练中loss较低accuracy较高的模型,将结果可视化在原有图片上,结果完全吻合实际(代码:Predict.py
)。
训练准确率折线图绘制
将模型batch、size参数进行多次修改,得出下图每次训练得到的最好模型准确率与损失率,并绘制相对应的折线统计图,可以发现,当batch=25,size=(64, 64)时,得到的训练准确率最高,损失率也较低,所以最终我们采用batch=25,size=64*64的模型。