WeekT8 - 猫狗识别1（VGG-16），训练方法与之前有所区别

已于 2024-05-26 21:56:07 修改
阅读量102 收藏
点赞数
分类专栏： 365天深度学习训练营学习打卡专栏 文章标签： 深度学习
于 2023-11-01 21:46:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40724911/article/details/134170239
版权

文章目录

● 难度：夯实基础⭐⭐
● 语言：Python3、TensorFlow2

🍺 要求：

  1. 了解model.train_on_batch()并运用
  2. 了解tqdm，并使用tqdm实现可视化进度条

🍻 拔高（可选）：

  1. 本文代码中存在一个严重的BUG，请找出它并配以文字说明

🔎 探索（难度有点大）

  1. 修改代码，处理BUG

其他说明：这篇文章中放弃了以往的model.fit()训练方法，改用model.train_on_batch方法。
两种方法的比较：

● model.fit()：用起来十分简单，对新手非常友好
● model.train_on_batch()：封装程度更低，可以玩更多花样。

此外也引入了进度条的显示方式，更加方便我们及时查看模型训练过程中的情况，可以及时打印各项指标。

1. 导入数据

在这里插入图片描述

2. 数据预处理之加载数据

在这里插入图片描述
在这里插入图片描述

3. 配置数据集

在这里插入图片描述

4. 可视化数据

在这里插入图片描述

5. 搭建VGG-16网络

from tensorflow.keras import layers, models, Input
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Dense, Flatten, Dropout

def VGG16(nb_classes, input_shape):
    input_tensor = Input(shape=input_shape)
    # 1st block
    x = Conv2D(64, (3,3), activation='relu', padding='same',name='block1_conv1')(input_tensor)
    x = Conv2D(64, (3,3), activation='relu', padding='same',name='block1_conv2')(x)
    x = MaxPooling2D((2,2), strides=(2,2), name = 'block1_pool')(x)
    # 2nd block
    x = Conv2D(128, (3,3), activation='relu', padding='same',name='block2_conv1')(x)
    x = Conv2D(128, (3,3), activation='relu', padding='same',name='block2_conv2')(x)
    x = MaxPooling2D((2,2), strides=(2,2), name = 'block2_pool')(x)
    # 3rd block
    x = Conv2D(256, (3,3), activation='relu', padding='same',name='block3_conv1')(x)
    x = Conv2D(256, (3,3), activation='relu', padding='same',name='block3_conv2')(x)
    x = Conv2D(256, (3,3), activation='relu', padding='same',name='block3_conv3')(x)
    x = MaxPooling2D((2,2), strides=(2,2), name = 'block3_pool')(x)
    # 4th block
    x = Conv2D(512, (3,3), activation='relu', padding='same',name='block4_conv1')(x)
    x = Conv2D(512, (3,3), activation='relu', padding='same',name='block4_conv2')(x)
    x = Conv2D(512, (3,3), activation='relu', padding='same',name='block4_conv3')(x)
    x = MaxPooling2D((2,2), strides=(2,2), name = 'block4_pool')(x)
    # 5th block
    x = Conv2D(512, (3,3), activation='relu', padding='same',name='block5_conv1')(x)
    x = Conv2D(512, (3,3), activation='relu', padding='same',name='block5_conv2')(x)
    x = Conv2D(512, (3,3), activation='relu', padding='same',name='block5_conv3')(x)
    x = MaxPooling2D((2,2), strides=(2,2), name = 'block5_pool')(x)
    # full connection
    x = Flatten()(x)
    x = Dense(4096, activation='relu',  name='fc1')(x)
    x = Dense(4096, activation='relu', name='fc2')(x)
    output_tensor = Dense(nb_classes, activation='softmax', name='predictions')(x)

    model = Model(input_tensor, output_tensor)
    return model

model=VGG16(1000, (img_width, img_height, 3))
model.summary()

Model: "model"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 input_1 (InputLayer)        [(None, 224, 224, 3)]     0         
                                                                 
 block1_conv1 (Conv2D)       (None, 224, 224, 64)      1792      
                                                                 
 block1_conv2 (Conv2D)       (None, 224, 224, 64)      36928     
                                                                 
 block1_pool (MaxPooling2D)  (None, 112, 112, 64)      0         
                                                                 
 block2_conv1 (Conv2D)       (None, 112, 112, 128)     73856     
                                                                 
 block2_conv2 (Conv2D)       (None, 112, 112, 128)     147584    
                                                                 
 block2_pool (MaxPooling2D)  (None, 56, 56, 128)       0         
                                                                 
 block3_conv1 (Conv2D)       (None, 56, 56, 256)       295168    
                                                                 
 block3_conv2 (Conv2D)       (None, 56, 56, 256)       590080    
                                                                 
 block3_conv3 (Conv2D)       (None, 56, 56, 256)       590080    
                                                                 
 block3_pool (MaxPooling2D)  (None, 28, 28, 256)       0         
                                                                 
 block4_conv1 (Conv2D)       (None, 28, 28, 512)       1180160   
                                                                 
 block4_conv2 (Conv2D)       (None, 28, 28, 512)       2359808   
                                                                 
 block4_conv3 (Conv2D)       (None, 28, 28, 512)       2359808   
                                                                 
 block4_pool (MaxPooling2D)  (None, 14, 14, 512)       0         
                                                                 
 block5_conv1 (Conv2D)       (None, 14, 14, 512)       2359808   
                                                                 
 block5_conv2 (Conv2D)       (None, 14, 14, 512)       2359808   
                                                                 
 block5_conv3 (Conv2D)       (None, 14, 14, 512)       2359808   
                                                                 
 block5_pool (MaxPooling2D)  (None, 7, 7, 512)         0         
                                                                 
 flatten (Flatten)           (None, 25088)             0         
                                                                 
 fc1 (Dense)                 (None, 4096)              102764544 
                                                                 
 fc2 (Dense)                 (None, 4096)              16781312  
                                                                 
 predictions (Dense)         (None, 1000)              4097000   
                                                                 
=================================================================
Total params: 138,357,544
Trainable params: 138,357,544
Non-trainable params: 0
_________________________________________________________________

5. 编译

在准备对模型进行训练之前，还需要再对其进行一些设置。以下内容是在模型的编译步骤中添加的：

● 损失函数（loss）：用于衡量模型在训练期间的准确率。

● 优化器（optimizer）：决定模型如何根据其看到的数据和自身的损失函数进行更新。

● 评价函数（metrics）：用于监控训练和测试步骤。以下示例使用了准确率，即被正确分类的图像的比率。

在这里插入图片描述

6. 训练模型

from tqdm import tqdm
import tensorflow.keras.backend as K

epochs = 10
lr     = 1e-4

# 记录训练数据，方便后面的分析
history_train_loss     = []
history_train_accuracy = []
history_val_loss       = []
history_val_accuracy   = []

for epoch in range(epochs):
    train_total = len(train_ds)
    val_total   = len(val_ds)
    
    """
    total：预期的迭代数目
    ncols：控制进度条宽度
    mininterval：进度更新最小间隔，以秒为单位（默认值：0.1）
    """
    with tqdm(total=train_total, desc=f'Epoch {epoch + 1}/{epochs}',mininterval=1,ncols=100) as pbar:
        
        lr = lr*0.92
        K.set_value(model.optimizer.lr, lr)

        for image,label in train_ds:   
            """
            训练模型，简单理解train_on_batch就是：它是比model.fit()更高级的一个用法

            想详细了解 train_on_batch 的同学，
            可以看看我的这篇文章：https://www.yuque.com/mingtian-fkmxf/hv4lcq/ztt4gy
            """
            history = model.train_on_batch(image,label)

            train_loss     = history[0]
            train_accuracy = history[1]
            
            pbar.set_postfix({"loss": "%.4f"%train_loss,
                              "accuracy":"%.4f"%train_accuracy,
                              "lr": K.get_value(model.optimizer.lr)})
            pbar.update(1)
        history_train_loss.append(train_loss)
        history_train_accuracy.append(train_accuracy)
            
    print('开始验证！')
    
    with tqdm(total=val_total, desc=f'Epoch {epoch + 1}/{epochs}',mininterval=0.3,ncols=100) as pbar:

        for image,label in val_ds:      
            
            history = model.test_on_batch(image,label)
            
            val_loss     = history[0]
            val_accuracy = history[1]
            
            pbar.set_postfix({"loss": "%.4f"%val_loss,
                              "accuracy":"%.4f"%val_accuracy})
            pbar.update(1)
        history_val_loss.append(val_loss)
        history_val_accuracy.append(val_accuracy)
            
    print('结束验证！')
    print("验证loss为：%.4f"%val_loss)
    print("验证准确率为：%.4f"%val_accuracy)

在这里插入图片描述

一些说明：
（1）训练时间比较久： 我用CPU执行的训练过程，跑完一个epoch需要40min，6.60s/it。所以训练完所有的大概花了6个多小时，从下午快6点到晚上12点。
在这里插入图片描述
（2）遇到一个报错：（这个问题在后面说）
在这里插入图片描述

7. 模型评估

epochs_range = range(epochs)

plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)

plt.plot(epochs_range, history_train_accuracy, label='Training Accuracy')
plt.plot(epochs_range, history_val_accuracy, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, history_train_loss, label='Training Loss')
plt.plot(epochs_range, history_val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

在这里插入图片描述

8. 预测

import numpy as np

# 采用加载的模型（new_model）来看预测结果
plt.figure(figsize=(18, 3))  # 图形的宽为18高为5
plt.suptitle("预测结果展示")

for images, labels in val_ds.take(1):
    for i in range(8):
        ax = plt.subplot(1,8, i + 1)  
        
        # 显示图片
        plt.imshow(images[i].numpy())
        
        # 需要给图片增加一个维度
        img_array = tf.expand_dims(images[i], 0) 
        
        # 使用模型预测图片中的人物
        predictions = model.predict(img_array)
        plt.title(class_names[np.argmax(predictions)])

        plt.axis("off")

在这里插入图片描述

9. tqdm说明

tqdm模块是python进度条库，主要分为两种运行模式：
（1）基于迭代对象运行：tqdm(iterator)
（2）手动更新
文中使用的是第（2）种方法

在这里插入图片描述

第一个00:06是已用时间，第二个00:00是剩余时间, 16.04it/s表示每秒16.04项。在这里插入图片描述

在这里插入图片描述

下面是简单实例展示：

import time
from tqdm import tqdm

# 发呆0.5s
def action():
    time.sleep(0.5)
with tqdm(total=100000, desc='Example', leave=True, ncols=100, unit='B', unit_scale=True) as pbar:
    for i in range(10):
        # 发呆0.5秒
        action()
        # 更新发呆进度
        pbar.update(10000)
# Example: 100%|███████████████████████████████████████████████████| 100k/100k [00:05<00:00, 19.6kB/s]

在这里插入图片描述

9.1 再来说遇到的那个报错

ModuleNotFoundError : No module named 'tqdm'
我搜资料说tqdm是python的自带库，但是导入报错，所以我想要不再安装一下，然后系统提示我“该环境已存在”，我再打开运行，就能导入了。
在这里插入图片描述

10. 文中比较严重的bug没找到

m_Molly
关注
专栏目录
pytorch vgg16 猫狗识别
qq_38191717的博客
07-24 4604
第一次做猫狗识别的任务，遇到点问题记录一下： 主要是数据集的问题： 下载完猫狗数据集后，打开有两个文件夹分别是train和test。这两个文件夹中并没有子文件夹。直接将其导入 train_dataset = torchvision.datasets.ImageFolder(root='/home/qqsdqt/桌面/cat/data/train',transform=transform...
python实战训练---基础练习(7)
xdc1812547560的博客
07-26 4824
文章目录字母识词反向输出II列表转字符串调用函数设置输出颜色 字母识词 题目： 请输入星期几的第一个字母来判断一下是星期几，如果第一个字母一样，则继续判断第二个字母。 程序分析 ：这里用字典的形式直接将对照关系存好。 weekT={'h':'thursday', 'u':'tuesday'} weekS={'a':'saturday', 'u':'sunday'} week={'t':weekT, 's':weekS, 'm':'monday',
VGG16的猫狗识别
qq_33329316的博客
10-30 2024
简单步骤 加载一张照片 维度转换为224*224 转换为array from keras.preprocessing.image import load_img,img_to_array img_path = '1.jpg' img = load_img(img_path,target_size=(224,224)) img = img_to_array(img) type(img) numpy.ndarray 获取vgg16 主要卷积层 不要后面的全连接层 （自己写） 改变输入数据的维度 图像预处理
vgg16猫狗识别
m0_60524373的博客
09-19 2358
tensorflow-vgg16-猫狗识别
卷积神经网络（VGG-16）猫狗识别
weixin_45822638的博客
12-02 2100
语言环境：Python3.6.5编译器：jupyter notebook深度学习环境：TensorFlow2.4.1卷积神经网络（CNN）实现mnist手写数字识别卷积神经网络（CNN）多种图片分类的实现卷积神经网络（CNN）衣服图像分类的实现卷积神经网络（CNN）鲜花识别卷积神经网络（CNN）天气识别卷积神经网络（VGG-16）识别海贼王草帽一伙卷积神经网络（ResNet-50）鸟类识别卷积神经网络（AlexNet）鸟类识别卷积神经网络(CNN)识别验证码来自专栏：机器学习与深度学习算法推荐。
Keras 利用vgg16进行猫狗识别
luckyboy101的专栏
11-01 1917
前面我们介绍了基于Tensorflow使用vgg16 fine-tuning实现了猫狗大战 https://blog.csdn.net/nvidiacuda/article/details/83413837 这里采用keras实现vgg16 fine-tuning实现了猫狗大战 1、数据的提取 import os import numpy as np import random from...
深度學習之VGG16貓狗識別
日常bug
03-20 1354
在上一篇文章中用捲積神經網絡(CNN)解决了一个貓狗識別問題，这次我们依然解决了貓狗識別問題，不過這次用在巨人的肩膀上建立模型，采用VGG16來做遷移學習VGG是Visual Geometry Group Network的缩写，视觉几何群网络；16是VGG结构中有13个卷积层和3个全链接层。 VGG16是由牛津大学的K. Simonyan和A. Zisserman在“用于大规模图像识别的非常深卷积网络”的论文中提出的卷积神经网络模型。 该模型在ImageNet中实现了92.7％的前5个测试精度，这是属于。
VGG16模型微调fineTuning的猫狗识别
qq576826394的专栏
05-17 899
#使用vgg模型的第二种方法：载入vgg模型文件还原模型，让后将这个模型 #包含到自己的模型中，构建分类模型重新训练得到一个全新的模型保存文件。 #计算量很大CPU不可算出，精度97%。 from keras.applications import vgg16 conv_base = vgg16.VGG16(weights='imagenet',#指定模型初始化的权重检测点 ...
Python100道练习题（1-50）
m0_68507761的博客
06-25 2297
大家好，我们学完Python基础后，最好的巩固方法就是拿一些练习题练手，综合所学内容，这里给大家分享下网上大神整理的100道Python测试题，非常经典，如果大家发现什么错误，欢迎在评论区指出，记得点个赞。今天先分享50道。Python100道练习题，建议收藏（1-50）大家好，我们学完Python基础后，最好的巩固方法就是拿一些练习题练手，综合所学内容...
Python基础训练100题（带答案）
chengxuyuanxiaom的博客
03-11 9694
实例001：数字组合 题目 有四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数？各是多少？ 程序分析 遍历全部可能，把有重复的剃掉。 total=0 for i in range(1,5): for j in range(1,5): for k in range(1,5): if ((i!=j)and(j!=k)and(k!=i)): print(i,j,k) total
Python基础训练100题（带答案），刷题一时爽，一直刷题一直爽
m0_64355682的博客
12-31 7811
Python3 100例 实例001：数字组合 题目 有四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数？各是多少？ 程序分析 遍历全部可能，把有重复的剃掉。 total=0 for i in range(1,5): for j in range(1,5): for k in range(1,5): if ((i!=j)and(j!=k)and(k!=i)): print(i,j,k)
【Intel校企合作课程】基于VGG-16的猫狗识别
qq_66019928的博客
01-13 965
【Intel校企合作课程】基于VGG-16的医学成像诊断检测_基于vgg16医学成像诊断检测-CSDN博客数据预处理：对猫和狗的图像进行划分，分为训练集、验证集和测试集。自定义数据集类：创建SelfDataset类，进行数据增强，如随机裁剪和水平翻转，以提升模型泛化能力。选择模型：采用VGG-16架构，通过迁移学习调整分类层为2类，并使用GPU进行训练。优化训练：使用Adam优化器和交叉熵损失函数，结合学习率调度器。
VGG16识别Kaggle猫狗(Pytorch实战)
weixin_42888638的博客
12-15 2147
文章目录VGG16识别猫狗导入常用的库函数获取数据Cats vs Dogs Dataset创建验证和测试子集标准化图像创建数据集创建模型训练开启训练训练损失和测试损失关系图训练精度和测试精度关系图保存权重 VGG16识别猫狗 导入常用的库函数 import time import os import numpy as np import torch import torch.nn.functional as F import torch.nn as nn from torch.utils.data
基于vgg16的猫狗识别（二分类）
weixin_55833709的博客
06-12 1088
基于vgg16的猫狗识别（二分类）
VGG16 keras框架 猫狗识别【使用预训练的卷积神经网络】
yvbycf的博客
12-26 966
想要将深度学习应用在小型数据集，一种高效的方法是使用预训练的网络。预训练的网络是之前保存好的网络，之前大型数据集（通常是大规模图像分类任务）上训练好。如果这个原始数据集足够大且足够通用，那么预训练的网络学到的特征的空间层次结构，可以有效的作为视觉世界的通用模型，因此这些模型可以用于各种不同的计算机视觉问题。使用预训练网络有两种方法：特征提取和微调模型。
CV之IC之VGG16：基于Keras框架利用卷积神经网络VGG16算法的迁移技术实现猫狗分类识别(图片数据增强→保存h5模型)案例训练过程记录
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-22 3685
CV之IC之VGG16：基于Keras框架利用卷积神经网络VGG16算法的迁移技术实现猫狗分类识别(图片数据增强→保存h5模型)案例训练过程记录。
VGG16进行猫狗分类
qq_40268672的博客
04-18 1024
实验平台：谷歌Colaboratory 网络模型：VGG16 数据集：kaggle猫狗数据集（仅使用2000张，1000张猫1000张狗） 深度学习框架：Keras+Tensorflow后台 代码如下： from PIL import Image import numpy as np from keras.utils import to_categorical path="/content/dr...
【学习笔记】用VGG16实现猫狗分类
laozaoxiaowanzi的博客
04-07 5980
【学习笔记】用VGG16实现猫狗分类 与前一篇博文不同，这次使用VGG16来完成猫狗分类。 在项目文件夹中新建VGGClassification.py文件，导入相关工具 from keras.applications.vgg16 import VGG16 from keras.models import Sequential from keras.layers import Conv2...
基于VGG16的猫狗分类实战
joniy0的博客
03-21 2861
基于VGG16的猫狗分类实战
猫狗大战（VGG-16）
最新发布
m0_67182009的博客
01-15 1425
在这个问题中，将面临一个经典的机器学习分类挑战——猫狗大战。任务是建立一个分类模型，能够准确地区分图像中是猫还是狗。1.2预期解决方案通过训练一个机器学习模型，使其在给定一张图像时能够准确地预测图像中是猫还是狗。模型应该能够推广到未见过的图像，并在测试数据上表现良好。将其部署到模拟的生产环境中——这里推理时间和二分类准确度（F1分数）将作为评分的主要依据。在项目的优化过程中，oneAPI的优化组件发挥了关键作用，显著降低了推理时间。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值