深度学习Tensorflow的坑(二:训练一个epoch卡住不动,程序不终止也不继续)

第一篇
承接上文
在搭载好环境之后,满心欢喜准备搭载模型的绘图(损失曲线、验证精度)功能,我就先使用10个epoch跑一下,结果。
它卡在199/200了!之前从没遇到过这个情况。

先看控制台报错,说是导入CUDNN的DLL文件不成功,得,又得复制粘贴了。在这里插入图片描述
接着跑,还是不成功。
网上很多报错都是pytorch版本得dataloader,不太能够适配。我就开始自身琢磨,我发现训练过程是没问题得,那么问题是出在我的valmodel,最后一步savemodel根本没走过去(QAQ深度学习不会打断点啊!)。

那我的数据集成功导入了,为什么没有接着往下走呢?原因如下:
大佬带来的启发

我一开始设置的history_fit中的steps_per_epoch大于validation_steps,导致训练完模型之后喂给模型的数据太多了导致OOM,内存溢出。
接下来就是把validation_steps调小即可。
如果你的steps_per_epoch为200,那么validation_steps就应该是100或者更小(不建议)。最后就成功啦!
在这里插入图片描述
关于history_fit中的steps_per_epoch大于validation_steps,想深入学习的可以点开下面两个链接。
steps_per_epoch和epoch如何设置
源码分析 steps_per_epoch 参数

以上。

  • 6
    点赞
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 可以参考以下代码来写一个Tensorflow2的MobileNet程序,用于训练自己的图片数据:import tensorflow as tf# 加载 MobileNet 模型 model = tf.keras.applications.MobileNet()# 加载自己的图片数据集 data = # 加载数据# 配置 MobileNet 模型 model.compile(optimizer=tf.keras.optimizers.Adam(), loss=tf.keras.losses.sparse_categorical_crossentropy, metrics=["accuracy"])# 训练模型 model.fit(data, epochs=5)# 保存模型 model.save("my_model.h5") ### 回答2: import tensorflow as tf from tensorflow.keras.preprocessing.image import ImageDataGenerator from tensorflow.keras.applications import MobileNetV2 from tensorflow.keras import layers, models # 设置图片数据路径和类别数 train_dir = 'path_to_training_images' validation_dir = 'path_to_validation_images' num_classes = 2 # 假设有2个类别 # 设置图像数据增强参数 train_datagen = ImageDataGenerator( rescale=1./255, rotation_range=20, zoom_range=0.2, horizontal_flip=True ) # 创建训练集和验证集的数据生成器 train_generator = train_datagen.flow_from_directory( train_dir, target_size=(224, 224), batch_size=32, class_mode='categorical' ) validation_generator = train_datagen.flow_from_directory( validation_dir, target_size=(224, 224), batch_size=32, class_mode='categorical' ) # 加载MobileNetV2模型 base_model = MobileNetV2(include_top=False, weights='imagenet', input_shape=(224, 224, 3)) base_model.trainable = False # 构建模型 model = models.Sequential([ base_model, layers.GlobalAveragePooling2D(), layers.Dense(128, activation='relu'), layers.Dense(num_classes, activation='softmax') ]) # 编译模型 model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) # 训练模型 history = model.fit( train_generator, steps_per_epoch=train_generator.samples // train_generator.batch_size, validation_data=validation_generator, validation_steps=validation_generator.samples // validation_generator.batch_size, epochs=10 ) # 保存和加载模型 model.save('path_to_save_model') loaded_model = tf.keras.models.load_model('path_to_saved_model') ### 回答3: 下面是一个使用TensorFlow 2训练自定义图片数据的MobileNet的Python程序: ```python import tensorflow as tf from tensorflow.keras.applications import MobileNetV2 from tensorflow.keras.preprocessing.image import ImageDataGenerator # 定义模型架构 base_model = MobileNetV2(weights='imagenet', include_top=False, input_shape=(224, 224, 3)) model = tf.keras.Sequential([ base_model, tf.keras.layers.GlobalAveragePooling2D(), tf.keras.layers.Dense(10, activation='softmax') ]) # 编译模型 model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) # 创建ImageDataGenerator对象,用于进行数据增强和数据预处理 datagen = ImageDataGenerator(rescale=1./255, validation_split=0.2) # 加载自定义图片数据集 train_generator = datagen.flow_from_directory( 'path_to_training_directory', target_size=(224, 224), batch_size=32, class_mode='categorical', subset='training') validation_generator = datagen.flow_from_directory( 'path_to_training_directory', target_size=(224, 224), batch_size=32, class_mode='categorical', subset='validation') # 训练模型 model.fit_generator( train_generator, steps_per_epoch=train_generator.samples/train_generator.batch_size, epochs=10, validation_data=validation_generator, validation_steps=validation_generator.samples/validation_generator.batch_size) # 保存模型 model.save('my_mobilenet_model.h5') ``` 上述程序的大致工作流程如下: 1. 导入必要的库:TensorFlow和相关模块 2. 定义模型架构:使用MobileNetV2作为基础模型构建一个多层次感知机模型,输出10个类别的预测结果。 3. 编译模型:指定优化器、损失函数和评估指标。 4. 创建ImageDataGenerator对象:用于进行数据增强和数据预处理。这里使用了图片归一化处理,并进行了80%训练集和20%验证集的划分。 5. 加载自定义图片数据集:使用flow_from_directory方法加载自定义训练集和验证集的图片数据。 6. 训练模型:使用fit_generator方法进行模型的训练。 7. 保存模型:将训练好的模型保存为h5文件,以便后续使用。 注意:上述程序中的`path_to_training_directory`需替换为你自己的图片数据集的路径。此外,根据需要,还可以进行更多的模型调优和配置。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值