vgg16识别咖啡豆

最新推荐文章于 2024-09-10 15:42:26 发布
最新推荐文章于 2024-09-10 15:42:26 发布
阅读量945 收藏 5
点赞数 2
分类专栏： 机器学习之——tensorflow+pytorch 文章标签： python 深度学习 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60524373/article/details/126818261
版权

 我的环境：

🍺 要求：

  1. 自己搭建VGG-16网络框架（✔）
  2. 调用官方的VGG-16网络框架（✔）

🍻 拔高（可选）：

  1. 验证集准确率达到100%（✔）
  2. 使用PPT画出VGG-16算法框架图（发论文需要这项技能）（✔）

🔎 探索（难度有点大）

  1. 在不影响准确率的前提下轻量化模型（✔）
    ○ 目前VGG16的Total params是134,276,932

目录

一 前期工作

1.设置GPU或者cpu

2.导入数据

3.查看数据

二 数据预处理

1.加载数据

2.可视化数据

3.再次检查数据

4.配置数据集

三 搭建网络

四 训练模型

1.设置动态学习率

2.早期与保存最佳模型参数

3.模型训练

五 模型评估

1.Loss和Accuracy图

 2.指定图片进行预测

 3.总结

一 前期工作

环境：python3.7，1080ti，tensorflow2.5（网上租的环境😂😂）

由于电脑问题，现在在jupytr上跑了，所以代码风格发生变化。

1.设置GPU或者cpu

设置cpu（电脑gpu跑不动就用这个将就一下）

from tensorflow import keras
from tensorflow.keras import layers, models
import os, PIL, pathlib
import matplotlib.pyplot as plt
import tensorflow as tf
import numpy as np
import tensorflow as tf
import tensorflow as tf
import os,PIL
# os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
#os.environ['CUDA_VISIBLE_DEVICES']='0'
os.environ['CUDA_VISIBLE_DEVICES']='2'
# os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知和警告信息
import os,PIL
os.environ['TF_XLA_FLAGS'] = '--tf_xla_enable_xla_devices'
from tensorflow import keras
keras.backend.clear_session()

设置gpu

from tensorflow       import keras
from tensorflow.keras import layers,models
import os, PIL, pathlib
import matplotlib.pyplot as plt
import tensorflow        as tf
import numpy             as np
 
gpus = tf.config.list_physical_devices("GPU")
 
if gpus:
    gpu0 = gpus[0]                                        #如果有多个GPU，仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True)  #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0],"GPU")
    
gpus

2.导入数据

data_dir = "./49-data/"
data_dir = pathlib.Path(data_dir)

3.查看数据

image_count = len(list(data_dir.glob('*/*.png')))

print("图片总数为：",image_count)

二 数据预处理

1.加载数据

设置数据尺寸

batch_size = 32
img_height = 224
img_width = 224

设置dataset

"""
关于image_dataset_from_directory()的详细介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
"""
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset="training",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size)
"""
关于image_dataset_from_directory()的详细介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
"""
val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset="validation",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size)

关于image_dataset_from_directory()的详细介绍可以参考文章：(58条消息) tf.keras.preprocessing.image_dataset_from_directory() 简介_K同学啊的博客-CSDN博客_tf.keras.preprocessing.image

 

  输出经过image_dataset_from_directory()分类后的标签

class_names = train_ds.class_names
print(class_names)

2.可视化数据

打印部分图片

plt.figure(figsize=(10, 4))  # 图形的宽为10高为5

for images, labels in train_ds.take(1):
    for i in range(10):
        
        ax = plt.subplot(2, 5, i + 1)  

        plt.imshow(images[i].numpy().astype("uint8"))
        plt.title(class_names[labels[i]])
        
        plt.axis("off")

3.再次检查数据

输出数据的尺寸

for image_batch, labels_batch in train_ds:
    print(image_batch.shape)
    print(labels_batch.shape)
    break

4.配置数据集

shuffle：打乱数据集

prefetch：加速处理

AUTOTUNE = tf.data.AUTOTUNE

train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds   = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

三 搭建网络

本文神经网络为官方vgg16模型，我们需要做的是对最后一层按我们的类别进行分类即可。

调用官方

model = keras.applications.VGG16(include_top=False,weights='imagenet')
global_average_layer = tf.keras.layers.GlobalAveragePooling2D()
prediction_layer1 = tf.keras.layers.Dense(1024,activation='relu')
prediction_layer2 = tf.keras.layers.Dense(512,activation='relu')
prediction_layer3 = tf.keras.layers.Dense(len(class_names),activation='softmax')

model = tf.keras.Sequential([
  model,
  global_average_layer,
  prediction_layer1,
  prediction_layer2,
  prediction_layer3
])
model.summary()

 

关于VGG16函数参考下面文章

(58条消息) keras 自带VGG16 net 参数分析_vola9527的博客-CSDN博客

我们对vgg16前部分卷积层没有改变，而是不选择官方的dense层，因为我们需要根据自己的数据进行输出，官方输出为1000种分类，我们只有4种，因此按照这个写法即可。

 自己搭建

model = models.Sequential([
    layers.experimental.preprocessing.Rescaling( 1. ,input_shape=(img_height, img_width, 3)),
    layers.Conv2D(filters=64, kernel_size=(3, 3), padding='same'),  # 卷积层1
    #layers.BatchNormalization(),  # BN层1
    layers.Activation('relu'),  # 激活层1
    layers.Conv2D(filters=64, kernel_size=(3, 3), padding='same', ),
    #layers.BatchNormalization(),  # BN层1
    layers.Activation('relu') , # 激活层1
    layers.MaxPool2D(pool_size=(2, 2), strides=2, padding='same'),
    #layers.Dropout(0.2),  # dropout层
    #
    layers.Conv2D(filters=128, kernel_size=(3, 3), padding='same'),
    #layers.BatchNormalization(),  # BN层1
    layers.Activation('relu'),  # 激活层1
    layers.Conv2D(filters=128, kernel_size=(3, 3), padding='same'),
    #layers.BatchNormalization(),  # BN层1
    layers.Activation('relu'),  # 激活层1
    layers.MaxPool2D(pool_size=(2, 2), strides=2, padding='same'),
    #layers.Dropout(0.2),  # dropout层
    #
    layers.Conv2D(filters=256, kernel_size=(3, 3), padding='same'),
    #layers.BatchNormalization() , # BN层1
    layers.Activation('relu'),  # 激活层1
    layers.Conv2D(filters=256, kernel_size=(3, 3), padding='same'),
    #layers.BatchNormalization() , # BN层1
    layers.Activation('relu') , # 激活层1
    layers.Conv2D(filters=256, kernel_size=(3, 3), padding='same'),
   # layers.BatchNormalization(),
    layers.Activation('relu'),
    layers.MaxPool2D(pool_size=(2, 2), strides=2, padding='same'),
    #layers.Dropout(0.2),
    #
    layers.Conv2D(filters=512, kernel_size=(3, 3), padding='same'),
   # layers.BatchNormalization() , # BN层1
    layers.Activation('relu') , # 激活层1
    layers.Conv2D(filters=512, kernel_size=(3, 3), padding='same'),
    #layers.BatchNormalization() , # BN层1
    layers.Activation('relu'),  # 激活层1
    layers.Conv2D(filters=512, kernel_size=(3, 3), padding='same'),
    #layers.BatchNormalization(),
    layers.Activation('relu'),
    layers.MaxPool2D(pool_size=(2, 2), strides=2, padding='same'),
    #layers.Dropout(0.2),
    #
    layers.Conv2D(filters=512, kernel_size=(3, 3), padding='same'),
   # layers.BatchNormalization() , # BN层1
    layers.Activation('relu'),  # 激活层1
    layers.Conv2D(filters=512, kernel_size=(3, 3), padding='same'),
    #layers.BatchNormalization(),  # BN层1
    layers.Activation('relu'),  # 激活层1
    layers.Conv2D(filters=512, kernel_size=(3, 3), padding='same'),
   # layers.BatchNormalization(),
    layers.Activation('relu'),
    layers.MaxPool2D(pool_size=(2, 2), strides=2, padding='same'),
    #layers.Dropout(0.2),

 
    layers.Flatten(),  # Flatten层，连接卷积层与全连接层
    layers.Dense(4096, activation='relu'),  # 全连接层，特征进一步提取
    layers.Dense(4096, activation='relu'),  # 全连接层，特征进一步提取
    layers.Dense(len(class_names),activation='softmax')  # 输出层，输出预期结果
])
model.summary()

四 训练模型

模型训练时，需要完成如下设置

损失函数（loss）：衡量模型准确率

优化器（optimizer）：根据损失函数进行优化更新

指标（metrics）：监控训练过程，保存最优模型

1.设置动态学习率

initial_learning_rate = 1e-4

lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
        initial_learning_rate, 
        decay_steps=30,      # 敲黑板！！！这里是指 steps，不是指epochs
        decay_rate=0.99,     # lr经过一次衰减就会变成 decay_rate*lr
        staircase=True)

# 设置优化器
opt = tf.keras.optimizers.Adam(learning_rate=initial_learning_rate)

model.compile(optimizer=opt,
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

注意损失函数不要用错了！

对于损失函数可以参考下面文章

(8条消息) tensorflow损失函数详解_重邮研究森的博客-CSDN博客

此外，需要注意在dataset设置中label_model的设置会影响loss

2.早期与保存最佳模型参数

关于ModelCheckpoint参考下面文章(8条消息) ModelCheckpoint 讲解【TensorFlow2入门手册】_K同学啊的博客-CSDN博客_modelcheckpoint函数

from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping
 
epochs = 100
 
# 保存最佳模型参数
checkpointer = ModelCheckpoint('best_model.h5',
                                monitor='val_accuracy',
                                verbose=1,
                                save_best_only=True,
                                save_weights_only=True)
 
# 设置早停
earlystopper = EarlyStopping(monitor='val_accuracy', 
                             min_delta=0.001,
                             patience=20, 
                             verbose=1)

3.模型训练

history = model.fit(train_ds,
                    validation_data=val_ds,
                    epochs=epochs,
                    callbacks=[checkpointer, earlystopper])

 可以看到在第三轮模型准确率到了100%

五 模型评估

1.Loss和Accuracy图

 2.指定图片进行预测

# 加载效果最好的模型权重
model.load_weights('best_model.h5')
from PIL import Image
import numpy as np
 
img = Image.open("./49-data/Dark/dark (100).png")  #这里选择你需要预测的图片

img=np.array(img)
image = tf.image.resize(img, [img_height, img_width])
 
img_array = tf.expand_dims(image, 0) 
 
predictions = model.predict(img_array) # 这里选用你已经训练好的模型
print("预测结果为：",class_names[np.argmax(predictions)])

 3.总结

1.在调用官方模型时，改变最后dense层分别为1024，512，4这样的形式。

准确率：100%（第三轮），模型参数：15,766,852

2.在使用自己搭建的官方模型时（完全按照官方搭建）

准确率：0.99167，模型参数：134,276,932

2.在使用自己搭建的官方模型时（加入BN层和drouput）

准确率：0.95，模型参数：134,290,756

别说没办法啊
关注
专栏目录
TensorFlow入门实战｜第7周：咖啡豆识别
“365天深度学习训练营”报名进行中～
09-02 1606
关于卷积的相关知识可以参考文章：https://mtyjkh.blog.csdn.net/article/details/114278995。我们可以通过class_names输出数据集的标签。2)需要的存储容量大，不利于部署。在官方模型与自建模型之间进行二选一就可以了，选着一个注释掉另外一个。VGG的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸。权重值文件的大小为500多MB，不利于安装到嵌入式系统中。的同学可以在语雀中查看网络结构图。如果使用的是CPU可以忽略这步。方法将磁盘中的数据加载到。
365天深度学习训练营] 第7周：咖啡豆识别
Jessica2017lj的博客
09-09 807
VGG16图像识别应用
Pytorch实战 | P7咖啡豆图片识别(深度学习实践pytorch)
weixin_35820421的博客
11-06 1220
● 数据来源：链接：https://pan.baidu.com/s/1gUO1eyMYxetvW0JV0r_j2g 提取码：0a2j。● 语言环境：Python3.8。● 深度学习环境：Pytorch。● 编译器：pycharm。本周没有遇到什么问题。
卷积网络识别好莱坞明星
m0_60524373的博客
09-07 537
卷积网络识别好莱坞明星
【PyTorch_VGG16】Pytorch实现VGG16，在Cifar10上做分类，91%精度
a_piece_of_ppx的博客
02-12 6018
Pytorch实现VGG16，在Cifar10上做分类，91%精度
咖啡豆识别
qq_66033623的博客
05-19 184
本文为🔗中的学习记录博客我的环境：1.语言：python3.72.编译器：pycharm3.
深度学习Week8-咖啡豆识别（Pytorch）
m0_62237233的博客
11-25 1743
🍨 本文为[]中的学习记录博客🍦 参考文章：Pytorch实战 | 第P7周：咖啡豆识别(训练营内部成员可读)🍖 原作者：[]🍺 要求：自己搭建VGG-16网络框架 √调用官方的VGG-16网络框架 √如何查看模型的参数量以及相关指标 √🍻 拔高（可选）：验证集准确率达到100%使用PPT画出VGG-16算法框架图（发论文需要这项技能）🔎 探索（难度有点大）在不影响准确率的前提下轻量化模型● 目前VGG16的Total params是134,276,932。
咖啡豆识别训练数据集图片
03-27
这种数据集通常包含大量不同种类、颜色、形状和光照条件下的咖啡豆图片，目的是帮助训练计算机算法理解并识别咖啡豆的特征。 在描述中，“咖啡豆识别训练数据集图片”进一步确认了这是一个图像数据集，专门用于训练...
【深度学习——咖啡豆的识别】
qq_45786199的博客
03-15 371
本实验总结如下：1、数据预处理和加载：通过torchvision.transforms模块定义了训练集和测试集的数据预处理方式。使用datasets.ImageFolder加载数据集，并按照一定比例划分为训练集和测试集。使用torch.utils.data.DataLoader创建训练集和测试集的数据加载器。2、构建模型：定义了一个VGG16的神经网络模型，包括卷积层、池化层和全连接层。3、训练和测试循环：实现了训练和测试函数，包括计算损失、准确率等指标。
VGG论文笔记
qq_52038588的博客
10-02 1393
VGG论文内容
VGG16网络参数列表
03-09
文档中包含VGG16的参数结构，以及各网络层的参数数目多少
使用基于ImageNet和VGG16模型训练可识别石头，剪刀，布的深度神经网络
Deaohst的博客
07-16 1633
VGG16
Pytorch：VGG16训练CIFAR10数据集出现bug之总结
m0_52347246的博客
12-09 2933
@Pytorch：VGG16训练CIFAR10数据集出现bug之总结 从github上下载的源码是LeNet训练Mnist数据集,我寻思着我用vgg16网络训练一下cifar10数据集试试呗。然后就是疯狂的出现各种各样的bug,de完一个又一个，人生真的是不停的debug啊。还好，经过不懈的努力与坚持，终于vgg16训练cifar10获得了成功。现在总结一下我实现过程中出现的问题，供我后面复习以及大家学习。 bug1:网络可以跑起来，但是无论训练多少epoch,训练时损失率不下降，准确率保持不变，一直是10
第T7周：咖啡豆识别
最新发布
lihuhelihu的博客
09-10 909
7 ∗ 7 的 input，3 ∗ 3 的 kernel，无填充，步长为1，则 o = ( 7 − 3 ) /1 + 1 ，也即 output size 为 5 ∗ 5。7∗7 的 input，3 ∗ 3 的 kernel，无填充，步长为2，则 o = ( 7 − 3 ) /2 + 1，也即 output size 为 3 ∗ 3。在步长（stride）为 1 时，输出的大小为 ( 4 − 3 + 1 ) × ( 4 − 3 + 1 )以下示例使用了准确率，即被正确分类的图像的比率。
365天深度学习训练营-第P7周：咖啡豆识别
qq_40661227的博客
05-05 309
7-week
VGG16—perceptual loss in keras感知损失【Keras】
m0_37477175的博客
08-07 7580
正常的损失加上感知损失，肯定需要自定义合适的loss function。在keras中，自定义loss function : 先考虑keras中的loss，如下： def mean_squared_error(y_true, y_pred): return K.mean(K.square(y_pred - y_true), axis=-1) 如果要定义自己的感知损失： def model...
学习率Learning rate
John_kai的博客
06-04 2万+
学习率的调整从梯度下降算法的角度来说，通过选择合适的学习率，可以使梯度下降法得到更好的性能。学习率，即参数到达最优值过程的速度快慢，如Andrew Ng的Stanford公开课程所说，假如你从山峰的最高点根据梯度下降法寻找最优值，当你学习率过大，即下降的快，步子大，那么你很可能会在某一步跨过最优值，当你学习率过小时，每次下降一厘米，这将走到何年何月呀，用术语来说就是，长时间无法收敛。因此，学习率直接
VGG16学习笔记
热门推荐
dta0502的博客
03-22 6万+
一. 简述  VGG卷积神经网络是牛津大学在2014年提出来的模型。当这个模型被提出时，由于它的简洁性和实用性，马上成为了当时最流行的卷积神经网络模型。它在图像分类和目标检测任务中都表现出非常好的结果。在2014年的ILSVRC比赛中，VGG 在Top-5中取得了92.3%的正确率。VGG结构图VGG-16VGG模型有一些变种，其中最受欢迎的当然是 VGG-16，这是一个拥有16层的模型。你可以看...
vgg16 天气识别
08-12
VGG16是一种经典的卷积神经网络模型，由Karen Simonyan和Andrew Zisserman于2014年提出。VGG16模型具有16个卷积层和3个全连接层，可以用于图像分类和特征提取任务。其特点是使用了较小的3x3卷积核和池化层，使得网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值