tensorflow2实现图像分类：以猫狗数据集为案例（下）

最新推荐文章于 2024-07-02 00:05:18 发布

m0_38056893

最新推荐文章于 2024-07-02 00:05:18 发布

阅读量5k

点赞数 19

分类专栏：深度学习文章标签：深度学习计算机视觉

本文链接：https://blog.csdn.net/m0_38056893/article/details/105208375

版权

本文深入探讨了过拟合现象，并在猫狗图像分类任务中展示了如何通过数据扩充和Dropout技术来提高模型性能。通过应用水平翻转、随机旋转、缩放等数据增强策略，以及在网络中引入Dropout，有效地减少了过拟合，提升了模型在验证集上的精度。

摘要由CSDN通过智能技术生成

上节实现完的精确度和loss绘制图如下。从图中可以看出，训练精度和验证精度相差很大，模型在验证集上仅达到70%左右的精度。本节研究其问题，并尝试提高模型的整体性能。

过拟合

在上面的图中，训练精度随着时间线性增加，而验证精度在训练过程中停滞在70%左右。此外，训练和验证准确性之间的差异是显而易见的——这是过拟合的标志。当训练样本数量较少时，模型有时会从训练样本中的噪声或不需要的细节中学习，从而对新样本的模型性能产生负面影响。这种现象被称为过拟合。这意味着该模型在新的数据集上将很难推广。在训练过程中有多种方法来对抗过度训练。在本案例中将使用数据扩充，并在我们的模型中添加dropout。

数据扩充

过拟合通常发生在有少量训练样本的时候。解决这个问题的一种方法是扩充数据集，使其具有足够数量的训练示例。数据扩充采用从现有训练样本中产生更多训练数据的方法，通过使用产生可信图像的随机变换来扩充样本。目标是模型在训练中永远不会看到完全相同的图片两次。这有助于将模型展示给数据的更多方面，并更好地进行概括。

实现：使用在tf.keras中的ImageDataGenerator类实现这一点。将不同的转换传递给数据集，它将在训练过程中负责应用它。

扩充和可视化数据

首先对数据集应用随机水平翻转增强，并查看转换后各个图像的外观。

（1）应用水平翻转

将horizontal_flip作为参数传递给ImageDataGenerator类，并将其设置为“True”以应用此增强。

代码实现：

# 该函数将图像绘制成1行5列的网格形式，图像放置在每一列中。
def plotImages(images_arr):
    fig, axes = plt.subplots(1, 5, figsize=(20, 20))
    axes = axes.flatten()
    for img, ax in zip(images_arr, axes):
        ax.imshow(img)
        ax.axis('off')
    plt.tight_layout()
    plt.show()



# 将horizontal_flip作为参数传递给ImageDataGenerator类，并将其设置为“True”以应用此增强。
image_gen = tf.keras.preprocessing.image.ImageDataGenerator(rescale=1. / 255, horizontal_flip=True)


# 在为训练和验证图像定义生成器之后，flow_from_directory方法从磁盘加载图像，应用重新缩放，并将图像调整到所需的尺寸。
train_data_gen = image_gen.flow_from_directory(batch_size=batch_size,
                                               directory=train_dir,
                                               shuffle=True,
                                               target_size=(IMG_HEIGHT, IMG_WIDTH))

augmented_images = [train_data_gen[0][0][0] for i in range(5)]
plotImages(augmented_images)

实现效果：

（2）随机旋转图像

观察一个不同的叫做旋转的增强，并随机地将45度旋转应用到训练例子中。

代码实现：

# 将rotation_range作为参数传递给ImageDataGenerator类，并将其设置为45。
image_gen = tf.keras.preprocessing.image.ImageDataGenerator(rescale=1./255, rotation_range=45)

# 在为训练和验证图像定义生成器之后，flow_from_directory方法从磁盘加载图像，应用重新缩放，并将图像调整到所需的尺寸。
train_data_gen = image_gen.flow_from_directory(batch_size=batch_size,
                                               directory=train_dir,
                                               shuffle=True,
                                               target_size=(IMG_HEIGHT, IMG_WIDTH))
augmented_images = [train_data_gen[0][0][0] for i in range(5)]
plotImages(augmented_images)