调节使用Keras创建模型的超参数对于结果的影响

最新推荐文章于 2022-04-16 13:05:11 发布
最新推荐文章于 2022-04-16 13:05:11 发布
阅读量990 收藏 7
点赞数
分类专栏： 卷积网络 深度学习 文章标签： CNN卷积网络中的超参数 超参数如何调节 Keras 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42354073/article/details/89366388
版权

超参数对于CNN模型效果的影响

上一篇文章已经详细介绍使用Keras创建的基础模型，这一篇文章详细探究超参数对于神经网络结果的影响。

模型当前的训练结果

  1. 训练样本以及测试样本
    X_train shape: (600, 64, 64, 3)
    Y_train shape: (600, 1)
    X_test shape: (150, 64, 64, 3)
    Y_test shape: (150, 1)
    输入时人脸图片，分类器需要识别出人是否处于“笑”和“不笑”的状态，笑，输出1，不笑，输出0
  2. 优化器的设置

happyModel.compile(optimizer=keras.optimizers.Adam(lr=0.001,beta_1=0.9,beta_2=0.999,epsilon=1e-08, decay=0.0), loss=‘binary_crossentropy’, metrics=[‘accuracy’])

学习率=0.001

  1. 训练包的大小以及优化次数设置

happyModel.fit(x=X_train, y=Y_train, batch_size=16, epochs=20)

批量包大小=16，优化次数设置为20
对于训练样本得到的结果如下：

Epoch 1/20
600/600 [==============================] - 6s 10ms/step - loss: 0.5106 - acc: 0.7683
Epoch 2/20
600/600 [==============================] - 4s 7ms/step - loss: 0.2408 - acc: 0.9233
Epoch 3/20
600/600 [==============================] - 4s 6ms/step - loss: 0.1509 - acc: 0.9583
Epoch 4/20
600/600 [==============================] - 4s 6ms/step - loss: 0.1059 - acc: 0.9750
Epoch 5/20
600/600 [==============================] - 4s 6ms/step - loss: 0.0827 - acc: 0.9850
Epoch 6/20
600/600 [==============================] - 4s 6ms/step - loss: 0.0665 - acc: 0.9900
Epoch 7/20
600/600 [==============================] - 4s 7ms/step - loss: 0.0478 - acc: 0.9917
Epoch 8/20
600/600 [==============================] - 4s 7ms/step - loss: 0.0422 - acc: 0.9917
Epoch 9/20
600/600 [==============================] - 4s 7ms/step - loss: 0.0313 - acc: 0.9983
Epoch 10/20
600/600 [==============================] - 4s 7ms/step - loss: 0.0302 - acc: 0.9917
Epoch 11/20
600/600 [==============================] - 4s 7ms/step - loss: 0.0228 - acc: 0.9967
Epoch 12/20
600/600 [==============================] - 4s 6ms/step - loss: 0.0227 - acc: 0.9983
Epoch 13/20
600/600 [==============================] - 4s 7ms/step - loss: 0.0254 - acc: 0.9933A: 0s - loss: 0.0274 - acc:
Epoch 14/20
600/600 [==============================] - 4s 6ms/step - loss: 0.0127 - acc: 0.9967
Epoch 15/20
600/600 [==============================] - 4s 6ms/step - loss: 0.0140 - acc: 0.9967A
Epoch 16/20
600/600 [==============================] - 4s 7ms/step - loss: 0.0090 - acc: 1.0000
Epoch 17/20
600/600 [==============================] - 4s 6ms/step - loss: 0.0153 - acc: 1.0000
Epoch 18/20
600/600 [==============================] - 4s 6ms/step - loss: 0.0114 - acc: 0.9983
Epoch 19/20
600/600 [==============================] - 4s 7ms/step - loss: 0.0084 - acc: 1.0000
Epoch 20/20
600/600 [==============================] - 4s 7ms/step - loss: 0.0123 - acc: 0.9967
  1. 模型对于测试样本的分类结果
Loss = 0.07760623216629028
Test Accuracy = 0.98000
最低0.47元/天 解锁文章
顾弦之
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
浅谈keras中loss与val_loss的关系
09-16
主要介绍了浅谈keras中loss与val_loss的关系，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
conv2d参数_使用KerasTuner和Hiplot进行神经网络超参数调整
weixin_39593460的博客
11-25 183
本文不仅向您展示如何调整神经网络的超参数，还将通过FAIR的Hiplot直观地查看调整过程/训练过程。神经网络训练历史可视化导入Python依赖!pip install hiplotimport tensorflow as tfimport hiplot as hip准备数据我们将使用Fashion MNIST机器学习数据集# download datamnist = tf.keras.datas...
分类预测，交叉验证调超参数
蔡军帅
09-15 1197
调参数是一件很头疼的事情，今天学习到一个较为简便的跑循环交叉验证的方法，虽然不是最好的，如今网上有很多调参的技巧，目前觉得实现简单的，以后了解更多了再更新。 import numpy as np from pandas import read_csv import pandas as pd import sys import importlib from sklearn.ne...
SGD中batch_size大小的影响
Im_Chenxi的博客
06-02 4699
随机梯度下降SGD中有一个重要的超参数batch_size（批量大小），其大小对整个模型训练的影响总结如下：    1.更大的批量会计算更计算更精确的梯度估计，但是回报是小于线性地。            因为每次参数更新所用到的数据越多，越能代表整体损失函数的梯度，因此梯度精确度更高。    2.极小批量通常难以充分利用多核架构，低于某个值的小批量处理并不会减少计算时间。    3.批量处理中所...
深度学习学习率对模型训练的影响
星空下
11-02 1万+
文章目录1. 学习率和batchsize的重要性2. 学习率如何影响模型性能2.1 初始学习率大小对模型性能的影响2.2 学习率变化策略对模型性能的影响2.2.1 预设规则学习率变化法2.2.2 自适应学习率变化法2.3 小结3. batchsize如何影响模型性能3.1 大的batchsize减少训练时间, 提高稳定性3.2 大的batchsize泛化能力下降3.3 小结4. 学习率和batchsize的关系总结 在其他笔记中我们讲述了数据， 模型的深度， 宽度对深度学习模型性能的影响， 这一次讲述一下学
keras 模型参数,模型保存,中间结果输出操作
09-16
在深度学习领域，Keras 是一个...总的来说，理解和掌握 Keras 中的模型参数、模型保存及中间结果输出操作对于深度学习实践至关重要。它们可以帮助我们有效地训练模型、保存最佳状态，并深入理解模型的内部工作原理。
keras读取训练好的模型参数并把参数赋值给其它模型详解
12-17
Keras 提供了方便的 API 来加载已训练好的模型，并将其参数赋值给新构建的模型。本文将详细讲解如何在 Keras 中实现这一操作。 首先，我们要理解模型参数的赋值涉及到的核心概念。训练好的模型参数（如权重和偏置）...
PyTorch和Keras计算模型参数的例子
09-18
了解和计算模型的参数数量对于优化资源利用、调整模型复杂度以及监控训练过程至关重要。今天我们将深入探讨如何在PyTorch和Keras中计算模型参数。 在PyTorch中，模型的参数是以`torch.nn.Parameter`对象的形式存储...
keras通过callback根据epoch自定义修改学习率以及根据loss停止训练
人生虚空
11-18 3099
直接放上代码 from tensorflow.keras.callbacks import LearningRateScheduler, Callback class EarlyStoppingByLossVal(Callback): def __init__(self, monitor='val_loss', value=0.00001, verbose=0): s...
Keras loss调试记录
Clannad_niu的博客
10-15 963
最近尝试使用序列模型LSTM进行文本分类，数据集为入侵检测用的ADWA-LD数据集。 0x01 初始loss 最开始试运行模型时loss一直稳定为0.46，无论训练多少个epoch都不改变。下图为一开始使用的模型 def get_lstm_model(max_features, embed_size): model = Sequential() model.add(Embe...
keras使用总结及踩坑(持续中)
cdknight_happy的专栏
11-22 669
1 训练调用函数 参考：https://blog.csdn.net/xovee/article/details/91357143 训练调用函数共三个，分别为fit,fit_generator和train_on_batch。 前面两个可以通过callbacks实现学习率衰减、启用tensorboard及记录训练过程中的模型，train_on_batch比较难以实现这些功能。 fit和fit_gene...
keras系列（一）：参数设置
热门推荐
hanzy88的博客
09-28 2万+
常用的 权重/偏置 初始化 常数初始化 为了在伪代码中形象化，让我们考虑一个具有64个输入和32个输出的神经网络的任意一层。 W = np.zeros((64, 32)) W = np.ones((64, 32)) W = np.ones((64, 32)) * C 虽然常量初始化很容易理解和理解，但使用这种方法的问题是，我们几乎不可能打破激活的对称性。因此，它很少被用作神经网...
机器学习笔记 - 使用Keras Tuner进行自动化超参数调整
学以致用 知行合一
04-16 2166
Keras Tuner可用于自动调整 Keras 模型的参数和超参数。通过搜索空间自动调整Keras模型的超参数。 通过上面了解了神经网络参数和超参数的自动调优，然后我们完整的使用了一个基于 Keras Tuner 的超参数搜索器。 在接下来的几年里，自动化机器学习将成为机器学习的一个越来越重要的方面，出现了很多AutoML框架。
keras设置超参数_使用keras和ray tune进行超参数调整
weixin_26756255的博客
09-07 1354
keras设置超参数In my previous article, I had explained how to build a small and nimble image classifier and what are the advantages of having variable input dimensions in a convolutional neural network. Ho...
深度学习中的超参数，以及对模型训练的影响
愿十四亿神州尽舜尧
01-17 9064
超参设置对训练的影响： （1）学习率（learning rate） 学习率（learning rate）是指在优化算法中更新网络权重的幅度大小。学习率可以是恒定的、逐渐降低的，基于动量的或者是自适应的，不同的优化算法决定不同的学习率。为了能够使得梯度下降法有较好的性能，我们需要把学习率的值设定在合适的范围内。学习率过小，会极大降低收敛速度，增加训练时间；学习率过大，可能导致参数在最优解两侧来...
Keras/Python深度学习中的网格搜索超参数调优（附源码）
happytofly的博客
08-16 1万+
原文：How to Grid Search Hyperparameters for Deep Learning Models in Python With Keras 作者：Jason Brownlee 翻译：刘崇鑫 责编：周建丁（zhoujd@csdn.net） 超参数优化是深度学习中的重要组成部分。其原因在于，神经网络是公认的难以配置，而又有很多参数需要设置。最重要的是...
keras 调参， 优化， 一些设置等
xiaojiajia007的博客
06-06 1万+
1. 关闭GPU，只使用CPU 2.设置keras占用GPU内存的比例： 3.Call back 中设置learning rate等Shedule, 使用Early Stop:
【机器学习与深度学习理论要点】8.超参数的概念、调优手段及对模型的影响？
yegeli的博客
08-08 2289
1）什么是超参数? 超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。 2）超参数有哪些调优手段？ ①网格搜索 网格搜索指查找搜索范围内的所有的点来确定最优值。如果采用较大的搜索范围以及较小的步长，网格搜索有很大概率找到全局最优值。然而，这种搜索方案十分消耗计算资源和时间，特别是需要调优的超参数比较多的时候。因此，在实际的应用中，网格搜索法一般会先试用较广的搜索范围和较大的步长，在寻找全局最优值可能的位置；然后回逐渐缩小搜索范围和步长，来寻找更精确的最优值。这种操作方案可以降低所需的时间
keras之callback使用
小马哥的博客
09-01 2261
来源于苏神： 让kereas更酷一些 回调函数： 保存最优模型 在Keras中，根据验证集的指标来保留最优模型，最简便的方法是通过自带的ModelCheckpoint，比如 checkpoint = ModelCheckpoint(filepath = '../best_model.weights', monitor = 'val_acc', verbose = 1, save_best_on...
使用Keras构建模型
最新发布
03-29
Keras是一个高级神经网络API，它在TensorFlow、Theano和CNTK等低级库之上提供了一个简单易用的用户界面。在Keras中，您可以使用Python编写高级神经网络模型，而无需编写低级的神经网络代码。下面是构建模型的基本步骤： 1.导入必要的库 首先，您需要导入所需的库，包括Keras、NumPy和Matplotlib等。 ```python import keras import numpy as np import matplotlib.pyplot as plt ``` 2.加载数据集 接下来，您需要加载数据集。您可以使用Keras内置的数据集，例如MNIST数字图像数据集。您也可以使用自己的数据集。 ```python from keras.datasets import mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() # 将图像数据转换为浮点数，并将其归一化为0到1之间的值 x_train = x_train.astype('float32') / 255. x_test = x_test.astype('float32') / 255. # 将标签数据转换为独热编码 y_train = keras.utils.to_categorical(y_train, 10) y_test = keras.utils.to_categorical(y_test, 10) ``` 3.定义模型 接下来，您需要定义模型。Keras提供了一个Sequential模型，您可以使用它来堆叠各种神经网络层。例如，以下代码定义了一个具有两个密集层的模型： ```python from keras.models import Sequential from keras.layers import Dense model = Sequential() model.add(Dense(512, activation='relu', input_shape=(784,))) model.add(Dense(10, activation='softmax')) ``` 这个模型有两个密集层。第一层有512个神经元，使用ReLU激活函数。输入形状为（784，），因为MNIST图像大小为28x28像素，展平后为784个像素。第二层有10个神经元，使用Softmax激活函数，因为MNIST数据集有10个类别。 4.编译模型 接下来，您需要编译模型。在编译之前，您需要指定损失函数、优化器和评估指标。例如，以下代码将损失函数设置为交叉熵，优化器设置为Adam，并将评估指标设置为准确性： ```python model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) ``` 5.训练模型 接下来，您需要训练模型。您可以使用fit()函数来训练模型。例如，以下代码将模型拟合到训练数据中，并使用批量大小为128、训练周期数为5： ```python history = model.fit(x_train, y_train, batch_size=128, epochs=5, validation_data=(x_test, y_test)) ``` 6.评估模型 接下来，您需要评估模型。您可以使用evaluate()函数来评估模型。例如，以下代码将模型评估为测试数据集： ```python score = model.evaluate(x_test, y_test, verbose=0) print('Test loss:', score[0]) print('Test accuracy:', score[1]) ``` 7.绘制模型的训练过程 最后，您可以使用Matplotlib库绘制模型的训练过程。例如，以下代码绘制了模型的训练损失和准确性： ```python plt.plot(history.history['loss'], label='train_loss') plt.plot(history.history['val_loss'], label='val_loss') plt.plot(history.history['accuracy'], label='train_acc') plt.plot(history.history['val_accuracy'], label='val_acc') plt.legend() plt.show() ``` 这是一个基本的Keras模型构建过程。您可以根据需要添加更多的层和参数，以获得更好的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值