InceptionV3实战：tensorflow2(2)，经典实战教程

于 2024-04-15 08:10:42 发布
阅读量853 收藏 12
点赞数 29
分类专栏： 2024年程序员学习 文章标签： tensorflow 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84166306/article/details/137764066
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
img

正文

input_labels = []

input_samples = []

for row in range(0, batch_size):

temp = np.random.randint(0, L)

X = file_pathList[temp]

Y = labels[temp]

image = cv2.imdecode(np.fromfile(X, dtype=np.uint8), -1)

if image.shape[2] > 3:

image = image[:, :, :3]

if train_action:

image=train_transform(image=image)[‘image’]

else:

image = val_transform(image=image)[‘image’]

image = cv2.resize(image, (norm_size, norm_size), interpolation=cv2.INTER_LANCZOS4)

image = img_to_array(image)

input_samples.append(image)

input_labels.append(Y)

batch_x = np.asarray(input_samples)

batch_y = np.asarray(input_labels)

yield (batch_x, batch_y)

第五步 保留最好的模型和动态设置学习率

ModelCheckpoint：用来保存成绩最好的模型。

语法如下：

keras.callbacks.ModelCheckpoint(filepath, monitor=‘val_loss’, verbose=0, save_best_only=False, save_weights_only=False, mode=‘auto’, period=1)

该回调函数将在每个epoch后保存模型到filepath

filepath可以是格式化的字符串，里面的占位符将会被epoch值和传入on_epoch_end的logs关键字所填入

例如，filepath若为weights.{epoch:02d-{val_loss:.2f}}.hdf5，则会生成对应epoch和验证集loss的多个文件。

参数

  • filename：字符串，保存模型的路径
  • monitor：需要监视的值
  • verbose：信息展示模式，0或1
  • save_best_only：当设置为True时，将只保存在验证集上性能最好的模型
  • mode：‘auto’，‘min’，‘max’之一，在save_best_only=True时决定性能最佳模型的评判准则，例如，当监测值为val_acc时，模式应为max，当检测值为val_loss时，模式应为min。在auto模式下，评价准则由被监测值的名字自动推断。
  • save_weights_only：若设置为True，则只保存模型权重，否则将保存整个模型（包括模型结构，配置信息等）
  • period：CheckPoint之间的间隔的epoch数

ReduceLROnPlateau：当评价指标不在提升时，减少学习率，语法如下：

keras.callbacks.ReduceLROnPlateau(monitor=‘val_loss’, factor=0.1, patience=10, verbose=0, mode=‘auto’, epsilon=0.0001, cooldown=0, min_lr=0)

当学习停滞时，减少2倍或10倍的学习率常常能获得较好的效果。该回调函数检测指标的情况，如果在patience个epoch中看不到模型性能提升，则减少学习率

参数

  • monitor：被监测的量
  • factor：每次减少学习率的因子，学习率将以lr = lr*factor的形式被减少
  • patience：当patience个epoch过去而模型性能不提升时，学习率减少的动作会被触发
  • mode：‘auto’，‘min’，‘max’之一，在min模式下，如果检测值触发学习率减少。在max模式下，当检测值不再上升则触发学习率减少。
  • epsilon：阈值，用来确定是否进入检测值的“平原区”
  • cooldown：学习率减少后，会经过cooldown个epoch才重新进行正常操作
  • min_lr:学习率的下限

本例代码如下：

checkpointer = ModelCheckpoint(filepath=‘best_model.hdf5’,

monitor=‘val_accuracy’, verbose=1, save_best_only=True, mode=‘max’)

reduce = ReduceLROnPlateau(monitor=‘val_accuracy’, patience=10,

verbose=1,

factor=0.5,

min_lr=1e-6)

第六步 建立模型并训练

model = Sequential()

model.add(InceptionV3(include_top=False, pooling=‘avg’, weights=‘imagenet’))

model.add(Dense(classnum, activation=‘softmax’))

optimizer = Adam(learning_rate=INIT_LR)

model.compile(optimizer=optimizer, loss=‘sparse_categorical_crossentropy’, metrics=[‘accuracy’])

history = model.fit(generator(trainX,trainY,batch_size,train_action=True),

steps_per_epoch=len(trainX) / batch_size,

validation_data=generator(valX,valY,batch_size,train_action=False),

epochs=EPOCHS,

validation_steps=len(valX) / batch_size,

callbacks=[checkpointer, reduce])

model.save(‘my_model.h5’)

print(history)

上篇博文中没有使用预训练模型，这篇在使用的时候，出现了错误，经过查阅资料发现了这种方式是错误的，如下：

#model = ResNet50(weights=“imagenet”,input_shape=(224,224,3),include_top=False, classes=classnum) #include_top=False 去掉最后的全连接层

如果想指定classes，有两个条件：include_top：True， weights：None。否则无法指定classes。

所以指定classes就不能用预训练了，所以采用另一种方式：

model = Sequential()

model.add(ResNet50(include_top=False, pooling=‘avg’, weights=‘imagenet’))

model.add(Dense(classnum, activation=‘softmax’))

另外，上篇文章使用的是fit_generator，新版本中fit支持generator方式，所以改为fit。

第六步 保留训练结果，并将其生成图片

loss_trend_graph_path = r"WW_loss.jpg"

acc_trend_graph_path = r"WW_acc.jpg"

import matplotlib.pyplot as plt

print(“Now,we start drawing the loss and acc trends graph…”)

summarize history for accuracy

fig = plt.figure(1)

plt.plot(history.history[“accuracy”])

plt.plot(history.history[“val_accuracy”])

plt.title(“Model accuracy”)

plt.ylabel(“accuracy”)

plt.xlabel(“epoch”)

plt.legend([“train”, “test”], loc=“upper left”)

plt.savefig(acc_trend_graph_path)

plt.close(1)

summarize history for loss

fig = plt.figure(2)

plt.plot(history.history[“loss”])

plt.plot(history.history[“val_loss”])

plt.title(“Model loss”)

plt.ylabel(“loss”)

plt.xlabel(“epoch”)

plt.legend([“train”, “test”], loc=“upper left”)

plt.savefig(loss_trend_graph_path)

plt.close(2)

print(“We are done, everything seems OK…”)

#windows系统设置10关机

#os.system(“shutdown -s -t 10”)

image-20220122201453485

image-20220122201421131

测试部分

===============================================================

单张图片预测

1、导入依赖

import cv2

import numpy as np

from tensorflow.keras.preprocessing.image import img_to_array

from tensorflow.keras.models import load_model

import time

import os

import albumentations

2、设置全局参数

这里注意，字典的顺序和训练时的顺序保持一致

norm_size=224

imagelist=[]

emotion_labels = {

0: ‘Black-grass’,

1: ‘Charlock’,

2: ‘Cleavers’,

3: ‘Common Chickweed’,

4: ‘Common wheat’,

5: ‘Fat Hen’,

6: ‘Loose Silky-bent’,

7: ‘Maize’,

8: ‘Scentless Mayweed’,

9: ‘Shepherds Purse’,

10: ‘Small-flowered Cranesbill’,

11: ‘Sugar beet’,

}

3、设置图片归一化参数

归一化参数的设置和验证的参数保持一致

val_transform = albumentations.Compose([

albumentations.Normalize(mean=(0.485, 0.456, 0.406), std=(0.229, 0.224, 0.225), max_pixel_value=255.0, p=1.0)

])

3、加载模型

emotion_classifier=load_model(“my_model.h5”)

4、处理图片

处理图片的逻辑和训练集也类似，步骤：

  • 读取图片

  • 将图片resize为norm_size×norm_size大小。

  • 将图片转为数组。

  • 放到imagelist中。

  • 将list转为numpy数组。

image = cv2.imdecode(np.fromfile(‘data/test/0a64e3e6c.png’, dtype=np.uint8), -1)

image = val_transform(image=image)[‘image’]

image = cv2.resize(image, (norm_size, norm_size), interpolation=cv2.INTER_LANCZOS4)

image = img_to_array(image)

imagelist.append(image)

imageList = np.array(imagelist, dtype=“float”)

5、预测类别

预测类别，并获取最高类别的index。

pre=np.argmax(emotion_classifier.predict(imageList))

emotion = emotion_labels[pre]

t2=time.time()

print(emotion)

t3=t2-t1

print(t3)

批量预测

批量预测和单张预测的差别主要在读取数据上，以及预测完成后，对预测类别的处理。其他的没有变化。

步骤：

  • 加载模型。

  • 定义测试集的目录

  • 获取目录下的图片

  • 循环循环图片

  • 读取图片

  • 对图片做归一化处理。

  • resize图片

  • 转数组

  • 放到imageList中

  • 预测

predict_dir = ‘data/test’

test11 = os.listdir(predict_dir)

for file in test11:

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
img

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

批量预测和单张预测的差别主要在读取数据上，以及预测完成后，对预测类别的处理。其他的没有变化。

步骤：

  • 加载模型。

  • 定义测试集的目录

  • 获取目录下的图片

  • 循环循环图片

  • 读取图片

  • 对图片做归一化处理。

  • resize图片

  • 转数组

  • 放到imageList中

  • 预测

predict_dir = ‘data/test’

test11 = os.listdir(predict_dir)

for file in test11:

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-FaCLS6lo-1713139772347)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84166306
关注
  • 29
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ResNet tensorflow 代码
yanxiaohui1992的博客
07-28 425
resnet的图，resnet50有16个残差网络（残差单元），每个残差单元是由三个卷积层组成的 参考博客，Github代码 原来的代码没有终止，将resnet_main.py中的部分代码改成，设置tf.train.StopAtStepHook停止步数即可。 tf.app.flags.DEFINE_integer('max_step',100000,'stop step') wit...
Resnet tensorflow代码分析
q199502092010的博客
04-09 2106
resnet 论文：https://arxiv.org/pdf/1512.03385.pdf 翻译转载：https://blog.csdn.net/Quincuntial/article/details/77263562 这几天看了tensorflow搭建的resnet模型，十分的干净利落。将结合代码的分析记录，以防遗忘。 ...
Tensorflow学习：ResNet代码（详细剖析）
初学者的博客
03-24 4201
https://blog.csdn.net/superman_xxx/article/details/65452735 https://blog.csdn.net/qq_29893385/article/details/81207203 https://blog.csdn.net/zzc15806/article/details/83540661 https://blog.csdn.net/...
tensorflow版resnet代码(18,50,101,152)
11-19
tensorflow版本的resnet代码，以最简化的方式构建。可以适用于各种网络的结构的变形，另外提供预训练tensorflow版本的预训练权重，由于上传文件限制，下载好代码之后：https://pan.baidu.com/s/1Kuvad3P9gn39vyONL2glZg 这里下载各个层数的预训练模型
经典CNN论文系列之ResNet（包含tensorflow 代码实现）
weixin_45232469的博客
08-10 840
摘要 总结一下作者在摘要中简明扼要的提出了Resnet解决了什么问题以及其优越性： 针对深层神经网络难以训练，提出了一种残差学习框架来简化网络训练，这些网络可以比以前使用的网络要深入得多。 通过重复利用已学习过的参考层输出，将层重新表示为参考层输出与当前层的和。 因为参考层的输出是以及学习过的，而不是未学习的函数。所以添加这样子的框架并不会给网络带来参数的巨大增加。 对比了VGG网络，实验表明即...
InceptionV3实战：tensorflow2.X版本，InceptionV3图像分类任务（大数据集）
01-22
本例提取了猫狗大战数据集中的部分数据做数据集，演示tensorflow2.X版本如何使用Keras实现图像分类，分类的模型使用InceptionV3。本文实现的算法有一下几个特点： 1、自定义了图片加载方式，更加灵活高效，不用将...
tensorflow入门实战项目：猫狗识别和人马识别数据库
09-20
图像识别的关键在于模型的架构选择，对于初学者，可以使用经典的卷积神经网络（CNN）如VGG16或ResNet，也可以使用预训练的模型如InceptionV3，进行迁移学习。 在TensorFlow中，构建和训练CNN模型通常包括以下步骤：...
tensorflow实战项目：keras的API编写LeNet5网络来做mnist的分类.zip
08-22
在本项目中，我们将深入探讨如何使用TensorFlow和Keras API来实现经典的LeNet5神经网络模型，并将其应用于MNIST手写数字识别任务。MNIST数据集是机器学习领域的一个基准，包含60,000个训练样本和10,000个测试样本，...
3.2.Keras实战.pptx
10-28
- InceptionV3 - InceptionResNetV2 - MobileNet - DenseNet - NASNet - MobileNetV2 这些预训练模型支持1000类图像分类任务，通过加载这些模型可以快速实现特征提取或微调，提高模型在特定任务上的表现。 #### 六...
InceptionV3_Optimization_with_TensorRT
03-31
《InceptionV3模型优化与TensorRT实战》 在深度学习领域，模型的效率和速度是至关重要的。InceptionV3是一种高效的卷积神经网络（CNN）架构，由Google Brain团队设计，它在ImageNet图像识别挑战赛上取得了显著的...
ResNet的TensorFlow实现
01-22
VGGNet和GoogLeNet等网络都表明有足够的深度是模型表现良好的前提，但是在网络深度增加到一定程度时，更深的网络意味着更高的训练误差。误差升高的原因是网络越深，梯度弥散[还有梯度爆炸的可能性]的现象就越明显，所以在后向传播的时候，无法有效的把梯度更新到前面的网络层，靠前的网络层参数无法更新，导致训练和测试效果变差。所以ResNet面临的问题是怎样在增加网络深度的情况下有可以有效解决梯度消失的问题。ResNet中解决深层网络梯度消失的问题的核心结构是残差网络。
使用TensorFlow实现ResNet
CVAIDL的博客
03-28 673
作为在ILSVRC 2015比赛中取得了冠军的网络结构，ResNet借鉴吸收了以往的网络结构的优点，完全抛弃了全连接层，使用残差学习方法解决了在信息传递时出现的信息丢失，损耗等问题，使整个网络只需要学习输入，输出差别的那一部分，简化了学习目标和学习难度。 忽略掉繁琐的解释和代码逻辑实现，我们现在简单地讲解一下RetNet的实现原理，并且利用这些原理便可以看懂相关的代码甚至写出自己的Re...
Tensorflow实现ResNet
u012113559的博客
08-10 1102
今天对照Tensorflow的书，实现了ILSVRC 2015比赛中的冠军ResNet。同样，在ResNet实际应用时，是基于ImageNet的。考虑到耗时，在本篇博客（甚至是在Tensorflow的书中），只计算每个batch的前馈计算（Forward）。 ResNet使用了残差单元（Residual Unit）。残差的出发点是，希望原始输入信息直接传输到后面的层中。假设某段神经网络的输入是x...
Tensorflow（三十） —— ResNet
Cyrus_May的博客
04-18 894
Tensorflow（三十） —— ResNet import tensorflow as tf from tensorflow import keras # 定义一个basic block class BasicBlock(keras.layers.Layer): def __init__(self,input_filters,filters,stride = 1): super(BasicBlock,self).__init__() self.conv1 =
用 TensorFlow 实现 ResNet 并验证残差连接的有效性
a119334的博客
07-24 905
在这篇文章中，我展示了ResNet-18和ResNet-50的TensorFlow实现。这份代码包括了经典ResNet中两种残差块的两种实现，完整地复现了原论文的模型模块。同时，经实验分析，我验证了ResNet残差连接的有效性。未来我还会写一篇ResNet的PyTorch实现，并附上论文的详细解读。httpshttpshttpshttps。......
MobileNet实战：tensorflow2.X版本，MobileNetV1图像分类任务（大数据集）
AI浩
01-27 796
摘要 本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，今天我和大家一起实现tensorflow2.X版本图像分类任务，分类的模型使用MobileNetV1。本文实现的算法有一下几个特点： 1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。 2、加载模型的预训练权重，训练时间更短。 3、数据增强选用albumentations。 关于MobileNetV1更详细的讲解，可以参考下面的文章： https://blog.csdn.net/hhhh
28- ResNet模型 (TensorFlow系列) (深度学习)
March_A的博客
03-04 1750
ResNet在2015年由微软实验室提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。
DenseNet实战：tensorflow2，Python开发学习视频
最新发布
2401_83621004的博客
04-03 818
import cv2import os这里可以看出tensorflow2.0以上的版本集成了Keras，我们在使用的时候就不必单独安装Keras了，以前的代码升级到tensorflow2.0以上的版本将keras前面加上tensorflow即可。tensorflow说完了，再说明一下几个重要的全局参数：norm_size = 100 设置输入图像的大小，图像的大小根据自己的需求设置，别太大，够用就行了(DenseNet121默认的图片尺寸是224×224，我们在这里并没有按照默认的)。
【五一创作】使用Resnet残差网络对图像进行分类（猫十二分类，模型定义、训练、保存、预测）(二）
逆境清醒的博客
04-30 1747
图像分类顾名思义就是一个模式分类问题，它的目标是将不同的图像，划分到不同的类别，实现最小的分类误差。图像分类是计算机视觉中最基础的任务，基本上深度学习模型的发展史就是图像分类任务提升的发展历史，不过图像分类并不是那么简单，也没有被完全解决。图像分类是计算机视觉中最基础的一个任务，也是几乎所有的基准模型进行比较的任务。这里面还有很多需要继续学习的地方。训练模型时需要注意次数，100次训练得分0.9375，训练350次得分0.41667。
TensorFlow深度学习实战：分布式与NLP应用
4. **TensorFlow与卷积神经网络**：专门介绍了卷积神经网络的基础概念，如特征图、卷积核和池化操作，以及如何利用TensorFlow构建实际的CNN模型，如Cifar10、InceptionV3和Vgg19，使读者能够实战应用这些技术。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值