一 环境配置
1 安装Anaconda
安装教程
https://blog.csdn.net/m0_58807717/article/details/129480998?spm=1001.2014.3001.5501
2 配置TensorFlow、Keras
2.1 创建虚拟环境
打开 cmd 命令终端
conda create -n tf1 python=3.6
2.2 安装tensorflow和keras
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==2.10.0
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras==2.10.0
二 猫狗数据分类建模
数据集下载
链接：https://pan.baidu.com/s/1wpXGC1FO8DBU2lkFPznFOQ
提取码：0000
1 猫狗图像预处理
import os, shutil
# 原始目录所在的路径
original_dataset_dir = 'F:\\kaggle_Dog&Cat\\kaggle_Dog&Cat\\train\\'
# 数据集分类后的目录
base_dir = 'F:\\kaggle_Dog&Cat\\kaggle_Dog&Cat\\train1'
os.mkdir(base_dir)
# # 训练、验证、测试数据集的目录
train_dir = os.path.join(base_dir, 'train')
os.mkdir(train_dir)
validation_dir = os.path.join(base_dir, 'validation')
os.mkdir(validation_dir)
test_dir = os.path.join(base_dir, 'test')
os.mkdir(test_dir)
# 猫训练图片所在目录
train_cats_dir = os.path.join(train_dir, 'cats')
os.mkdir(train_cats_dir)
# 狗训练图片所在目录
train_dogs_dir = os.path.join(train_dir, 'dogs')
os.mkdir(train_dogs_dir)
# 猫验证图片所在目录
validation_cats_dir = os.path.join(validation_dir, 'cats')
os.mkdir(validation_cats_dir)
# 狗验证数据集所在目录
validation_dogs_dir = os.path.join(validation_dir, 'dogs')
os.mkdir(validation_dogs_dir)
# 猫测试数据集所在目录
test_cats_dir = os.path.join(test_dir, 'cats')
os.mkdir(test_cats_dir)
# 狗测试数据集所在目录
test_dogs_dir = os.path.join(test_dir, 'dogs')
os.mkdir(test_dogs_dir)
# 将前1000张猫图像复制到train_cats_dir
fnames = ['cat.{}.jpg'.format(i) for i in range(1000)]
for fname in fnames:
src = os.path.join(original_dataset_dir, fname)
dst = os.path.join(train_cats_dir, fname)
shutil.copyfile(src, dst)
# 将下500张猫图像复制到validation_cats_dir
fnames = ['cat.{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:
src = os.path.join(original_dataset_dir, fname)
dst = os.path.join(validation_cats_dir, fname)
shutil.copyfile(src, dst)
# 将下500张猫图像复制到test_cats_dir
fnames = ['cat.{}.jpg'.format(i) for i in range(1500, 2000)]
for fname in fnames:
src = os.path.join(original_dataset_dir, fname)
dst = os.path.join(test_cats_dir, fname)
shutil.copyfile(src, dst)
# 将前1000张狗图像复制到train_dogs_dir
fnames = ['dog.{}.jpg'.format(i) for i in range(1000)]
for fname in fnames:
src = os.path.join(original_dataset_dir, fname)
dst = os.path.join(train_dogs_dir, fname)
shutil.copyfile(src, dst)
# 将下500张狗图像复制到validation_dogs_dir
fnames = ['dog.{}.jpg'.format(i) for i in range(1000, 1500)]
for fname in fnames:
src = os.path.join(original_dataset_dir, fname)
dst = os.path.join(validation_dogs_dir, fname)
shutil.copyfile(src, dst)
# 将下500张狗图像复制到test_dogs_dir
fnames = ['dog.{}.jpg'.format(i) for i in range(1500, 2000)]
for fname in fnames:
src = os.path.join(original_dataset_dir, fname)
dst = os.path.join(test_dogs_dir, fname)
shutil.copyfile(src, dst)
分类后如下图所示：
查看分类后，对应目录下的图片数量：
print('total training cat images:', len(os.listdir(train_cats_dir)))
print('total training dog images:', len(os.listdir(train_dogs_dir)))
print('total validation cat images:', len(os.listdir(validation_cats_dir)))
print('total validation dog images:', len(os.listdir(validation_dogs_dir)))
print('total test cat images:', len(os.listdir(test_cats_dir)))
print('total test dog images:', len(os.listdir(test_dogs_dir)))
2 猫狗分类的实例——基准模型
2.1 构建网络模型
#网络模型构建
from keras import layers
from keras import models
#keras的序贯模型
model = models.Sequential()
#卷积层，卷积核是3*3，激活函数relu
model.add(layers.Conv2D(32, (3, 3), activation='relu',
input_shape=(150, 150, 3)))
#最大池化层
model.add(layers.MaxPooling2D((2, 2)))
#卷积层，卷积核2*2，激活函数relu
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
#最大池化层
model.add(layers.MaxPooling2D((2, 2)))
#卷积层，卷积核是3*3，激活函数relu
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
#最大池化层
model.add(layers.MaxPooling2D((2, 2)))
#卷积层，卷积核是3*3，激活函数relu
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
#最大池化层
model.add(layers.MaxPooling2D((2, 2)))
#flatten层，用于将多维的输入一维化，用于卷积层和全连接层的过渡
model.add(layers.Flatten())
#全连接，激活函数relu
model.add(layers.Dense(512, activation='relu'))
#全连接，激活函数sigmoid
model.add(layers.Dense(1, activation='sigmoid'))
查看模型各层的参数状况：
#输出模型各层的参数状况
model.summary()
2.2 配置优化器
#model.compile(optimizer = 优化器，
# loss = 损失函数，
# metrics = ["准确率”])
from keras import optimizers
model.compile(loss='binary_crossentropy',
optimizer=optimizers.RMSprop(lr=1e-4),
metrics=['acc'])
2.3 图片格式转化
将训练和验证的图片，调整为150*150
from keras.preprocessing.image import ImageDataGenerator
# 所有图像将按1/255重新缩放
train_datagen = ImageDataGenerator(rescale=1./255)
test_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from_directory(
# 这是目标目录
train_dir,
# 所有图像将调整为150x150
target_size=(150, 150),
batch_size=20,
# 因为我们使用二元交叉熵损失，我们需要二元标签
class_mode='binary')
validation_generator = test_datagen.flow_from_directory(
validation_dir,
target_size=(150, 150),
batch_size=20,
class_mode='binary')
查看处理结果
#查看上面对于图片预处理的处理结果
for data_batch, labels_batch in train_generator:
print('data batch shape:', data_batch.shape)
print('labels batch shape:', labels_batch.shape)
break
2.4 模型训练并保存生成的模型
#模型训练过程
history = model.fit_generator(
train_generator,
steps_per_epoch=100,
epochs=30,
validation_data=validation_generator,
validation_steps=50)
#保存训练得到的的模型
model.save('F:\\kaggle_Dog&Cat\\kaggle_Dog&Cat\\cats_and_dogs_small_1.h5')
2.5 结果可视化
#对于模型进行评估，查看预测的准确性
import matplotlib.pyplot as plt
acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']
epochs = range(len(acc))
plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.legend()
plt.figure()
plt.plot(epochs, loss, 'bo', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.legend()
plt.show()
由可视化结果可以发现出现过拟合现象，那么什么是过拟合呢？
过拟合是指机器学习模型在训练数据上表现良好，但在新的未见过的数据上表现较差的现象。过拟合通常发生在模型过于复杂或训练数据过少的情况下。
过拟合出现的原因：
1.训练集数量不足，样本类型单一。
2.训练集中存在噪声。
3.模型复杂度过高。
解决方法：
1.尽可能的保证数据分布均匀，同时可以增加数据量。
2.分析噪声数据，对数据进行清洗。
3.降低模型的复杂度，减少参数、使模型变的简单。
4.在训练过程中使用正则化技术。
三 数据增强
数据增强是指通过对原始数据进行一系列变换和扩充，以增加数据样本的多样性和数量，从而提高机器学习模型的性能。数据增强技术可以应用于各种机器学习任务，包括图像分类、目标检测、语音识别等。
常见的数据增强方法包括图像旋转、翻转、缩放、裁剪、亮度调整、颜色变换等。对于文本数据，可以进行词语替换、词语插入、词语删除、句子重组等操作。数据增强的目的是通过引入更多的变化和噪声，使得模型能够更好地泛化和适应各种不同的输入情况。
数据增强可以有效地解决数据不平衡、过拟合等问题，提高模型的泛化能力。同时，数据增强也可以减少对大量标注数据的需求，降低数据采集和标注的成本。
代码实现
重新创建.ipynb文件重新构建模型，将分类好的数据放入train2 文件中
如上一步配置网络模型、构建优化器后进行数据增强
from keras.preprocessing.image import ImageDataGenerator
datagen = ImageDataGenerator(
rotation_range=60,#一个角度值(0-180)，在这个范围内可以随机旋转图片
width_shift_range=0.2,#范围(作为总宽度或高度的一部分)，在其中可以随机地垂直或水平地转换图片
height_shift_range=0.2,#范围(作为总宽度或高度的一部分)，在其中可以随机地垂直或水平地转换图片
shear_range=0.2,#用于随机应用剪切转换
zoom_range=0.2,#用于在图片内部随机缩放
horizontal_flip=True,#用于水平随机翻转一半的图像——当没有假设水平不对称时(例如真实世界的图片)
fill_mode='nearest')#用于填充新创建像素的策略，它可以在旋转或宽度/高度移动之后出现
增强效果查看
import matplotlib.pyplot as plt
# This is module with image preprocessing utilities
from keras.utils import image_utils
fnames = [os.path.join(train_cats_dir, fname) for fname in os.listdir(train_cats_dir)]
# We pick one image to "augment"
img_path = fnames[5]
# Read the image and resize it
img = image_utils.load_img(img_path, target_size=(150, 150))
# Convert it to a Numpy array with shape (150, 150, 3)
x = image_utils.img_to_array(img)
# Reshape it to (1, 150, 150, 3)
x = x.reshape((1,) + x.shape)
# The .flow() command below generates batches of randomly transformed images.
# It will loop indefinitely, so we need to `break` the loop at some point!
i = 0
for batch in datagen.flow(x, batch_size=1):
plt.figure(i)
imgplot = plt.imshow(image_utils.array_to_img(batch[0]))
i += 1
if i % 4 == 0:
break
plt.show()
图片格式转换
train_datagen = ImageDataGenerator(
rescale=1./255,
rotation_range=40,
width_shift_range=0.2,
height_shift_range=0.2,
shear_range=0.2,
zoom_range=0.2,
horizontal_flip=True,)
# Note that the validation data should not be augmented!
test_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from_directory(
# This is the target directory
train_dir,
# All images will be resized to 150x150
target_size=(150, 150),
batch_size=32,
# Since we use binary_crossentropy loss, we need binary labels
class_mode='binary')
validation_generator = test_datagen.flow_from_directory(
validation_dir,
target_size=(150, 150),
batch_size=32,
class_mode='binary')
开始训练并保存结果
#模型训练过程
history = model.fit_generator(
train_generator,
steps_per_epoch=100,
epochs=30,
validation_data=validation_generator,
validation_steps=50)
#保存训练得到的的模型
model.save('F:\\kaggle_Dog&Cat\\kaggle_Dog&Cat\\cats_and_dogs_small_2.h5')
由于数据量的增加，对比基准模型，可以很明显的观察到曲线没有过度拟合了，训练曲线紧密地跟踪验证曲线，这也就是数据增强带来的影响，但是可以发现它的波动幅度还是比较大的。
下面在此数据增强的基础上，再增加一层 dropout 层，再来训练看看。
四 增加dropout 层
添加dropout层可以有效防止过拟合问题，提高模型的泛化能力。dropout层在训练过程中随机将一部分神经元的输出置为0，从而减少神经元之间的依赖关系，强制模型学习更加鲁棒的特征表示。这样可以减少模型对于特定神经元的依赖，增加模型的泛化能力，提高模型的鲁棒性。同时，dropout层还可以起到正则化的作用，减少模型的过拟合问题。通过随机丢弃神经元的输出，dropout层可以减少模型的复杂度，防止模型过度拟合训练数据。因此，添加dropout层可以有效提高模型的性能和泛化能力。
#网络模型构建
from keras import layers
from keras import models
#keras的序贯模型
model = models.Sequential()
#卷积层，卷积核是3*3，激活函数relu
model.add(layers.Conv2D(32, (3, 3), activation='relu',
input_shape=(150, 150, 3)))
#最大池化层
model.add(layers.MaxPooling2D((2, 2)))
#卷积层，卷积核2*2，激活函数relu
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
#最大池化层
model.add(layers.MaxPooling2D((2, 2)))
#卷积层，卷积核是3*3，激活函数relu
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
#最大池化层
model.add(layers.MaxPooling2D((2, 2)))
#卷积层，卷积核是3*3，激活函数relu
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
#最大池化层
model.add(layers.MaxPooling2D((2, 2)))
#flatten层，用于将多维的输入一维化，用于卷积层和全连接层的过渡
model.add(layers.Flatten())
#退出层
model.add(layers.Dropout(0.5))
#全连接，激活函数relu
model.add(layers.Dense(512, activation='relu'))
#全连接，激活函数sigmoid
model.add(layers.Dense(1, activation='sigmoid'))
#输出模型各层的参数状况
model.summary()
from keras import optimizers
model.compile(loss='binary_crossentropy',
optimizer=optimizers.RMSprop(lr=1e-4),
metrics=['acc'])
9888
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
