tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比

最新推荐文章于 2022-11-25 18:16:00 发布
最新推荐文章于 2022-11-25 18:16:00 发布
阅读量1.6k 收藏 6
点赞数
分类专栏： Tebsorflow2 学习笔记 文章标签： tensorflow 深度学习 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40575024/article/details/105874503
版权

5种优化器的对比

在（lr=0.1 epoch=500 batch=32）和（lr=0.1 epoch=100 batch=32）两种情况下，SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的loss,acc,训练耗时对比。

1. 在（lr=0.1 epoch=500 batch=32）的情况下：

在 lr=0.1 ，epoch=500 ， batch=32的情况下:
在这里插入图片描述

2. 在（lr=0.1 epoch=100 batch=32）的情况下

在这里插入图片描述
详细对比文档：

https://download.csdn.net/download/qq_40575024/12378870

李亮_sdu
关注
专栏目录
机器学习2 -- 优化器（SGD、SGDM、Adagrad、RMSProp、Adam等）
谢杨易的博客
08-27 3万+
总结下来，SGDM和Adam两大阵营的各种优化后的optimizer如下optimizer优化主要有四种方法让模型探索更多的可能，包括dropout、加入Gradient noise、样本shuffle等让模型站在巨人肩膀上，包括warn-up、curriculum learning、fine-tune等归一化 normalization，包括batch-norm和layer-norm等正则化，惩罚模型的复杂度。
一文搞懂神经网络参数优化器SGD、SGDM、Adagrad、RMSProp、Adam
qq_41189226的博客
04-18 2887
鉴于公式不便于书写，所以采用手写。
tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比.docx
05-01
tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比，word 文档。
TensorFlow2.0之五种神经网络参数优化器
dally2的博客
08-27 1551
五种参数优化器 1 SGD（不含momentum的梯度下降算法） 2 SGDM（含momentum的梯度下降算法，在SGD基础上增加一阶动量） 3 Adagrad（在SGD基础上增加二阶动量） 4 RMSProp（在SGD基础上增加二阶动量） 5 Adam（同时结合SGDM一阶动量和RMSProp二阶动量）
机器学习算法之鸢尾花数据不同分类器效果比较
leva的博客
07-17 2052
import numpy as np import pandas as pd import matplotlib as mpl import matplotlib.pyplot as plt from sklearn.svm import SVC from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score from sklearn.linear_model import Lo.
TensorFlow2学习笔记：7、优化器
学习，是熵减的最有效途径。
07-24 1072
下面是TensorFlow官方文档中的优化器种类。
tensorflow中各种优化器解析（SGD、Momentum、Adam等）
qq_37691909的博客
03-07 5290
请参见这篇博客，分析的很细，而且有原始数学公式。 http://www.cnblogs.com/fourmi/p/9938477.html
Matlab代码，里面包括五种常见神经网络优化算法的对比 包括SGD、SGDM、Adagrad、AdaDelta、Adam
最新发布
03-02
SGD、SGDM、Adagrad、AdaDelta 和 Adam 的简介： SGD（Stochastic Gradient Descent，随机梯度下降）是神经网络中最基本的优化算法之一。它通过随机选择一小部分样本进行训练，并基于这些样本的梯度来更新模型参数...
NN学习技巧之参数最优化的四种方法对比（SGD, Momentum, AdaGrad, Adam）,基于MNIST数据集
wulimmya的博客
08-21 1853
前面几篇博文分析了每一种参数优化方案，现在做一个对比，代码参考斋藤的红鱼书第六章。 实验对mnist数据集的6万张图片训练，使用5层全连接神经网络（4个隐藏层，每个隐藏层有100个神经元），共迭代2000次，下图是损失函数随着训练迭代次数的变化： 可以看到SGD是最慢的，而AdaGrad最快, 且最终的识别精度也更高，这并不是一定的，跟数据也有关 主要代码：(完整代码可去图灵社区找红鱼书，随书下...
深度学习 Day 20——优化器对比实验
北天的博客
11-25 1643
365天深度学习训练营 [第十周]——了解并学习不同优化器之间的区别以及具体代码实现对比。
【北京大学】Tensorflow2.0学习率、激活函数、损失函数、优化器、过拟合和欠拟合
BetterBench的博客
11-05 963
1 本讲知识结构 （１）目标：学会神经网络优化过程，使用正则化减少过拟合，使用优化器更新网络参数 （２）知识结构 • 预备知识 • 神经网络复杂度 • 指数衰减学习率 • 激活函数 • 损失函数 • 欠拟合与过拟合 • 正则化减少过拟合 • 优化器更新网络参数 2 预备知识 （１） tf.where() 条件语句为真返回Ａ，为假返回Ｂ tf.where(条件语句，真返回A，假返回B) a = tf.constant([1,2,3,1,1]) b = tf.constant([0,1,3,4,5]) c =
深度学习中所有的优化器的详细介绍与列表化对比分析
wzg2016的博客
09-08 1173
之前对各个优化器理解的不是特别清晰，最近通过分析，列出一个表格来对比他们之间的异同点。如果对大家有帮助，还希望点个赞。如下：
【TensorFlow自学2】基础语句+激活函数+损失函数+正则化缓解过拟合+优化器（SGD、Adam等）
vvvivaaaa的博客
06-13 498
基础语句+激活函数+损失函数+正则化缓解过拟合+优化器（SGD、Adam等）
【Tensorflow】解决使用SGD优化器报错
ICEsuning的博客
04-03 2406
使用tensorflow 2.0、keras2.8时，两个库若即若离，互相干扰，导致了很多报错。 在使用优化器SGD时，尝试几种方法。 from keras.optimizer_v1 import sgd model.compile(loss="mse", optimizer=sgd(lr=1e-6, momentum=0.9)) 报错 from tensorflow.python.keras.optimizer_v1 import sgd model.compile(loss="mse"
tensorflow2.x/keras手动批训练在SGD优化器上的问题
欧氏空间
03-02 279
手动 model.fit 进行批训练，momentium 对应的历史梯度信息没有保存，lr 也不会修改 手动 model.train_on_batch 进行批训练，momentium 貌似保存了，但 lr 不会修改 手动 tape.gradient 求导时，Normalization 层没有更新 解决方案： 手动批训练时，尽量使用train_on_batch，手动更新 lr，一个公式是 lr = lr / (1 + lr_rate * iterations) 手动求导时，注意启动训练模式 model(.
深度学习框架tensorflow学习与应用6（优化器SGD、ADAM、Adadelta、Momentum、RMSProp比较）
qq_37791134的博客
12-02 9051
看到一个图片，就是那个表情包，大家都知道： Adadelta 》 NAG 》 Momentum》Remsprop 》Adagrad 》SGD 但是我觉得看情况而定，比如有http://blog.51cto.com/12568470/1898367常见优化算法 (tensorflow对应参数)就认为实际工作上实践中觉得是ADAM ，但是谁说的准呢是吧，每个工程师的场景不一样，得到的实践的经...
tensorflow中tf.raw_ops.ApplyCenteredRMSProp()函数的使用
weixin_43869605的博客
11-27 1197
1. 功能 居中RMSProp算法使用居中第二矩(即方差)的估计值进行归一化,而普通RMSProp则使用(非居中)第二矩。这通常有助于训练,但在计算和内存方面略显昂贵。 需要注意的是,在这个算法的密集实现中,即使grad为零,mg、ms和mom也会更新,但在这个稀疏实现中,mg、ms和mom在grad为零的迭代中不会更新。 mean_square = decay * mean_square + (1-decay) * gradient ** 2 mean_grad = decay * mean_grad
TensorFlow2学习五之神经网络优化过程
墨夜之枫的博客
01-21 236
一、常用函数tf.where(条件语句，真返回A, 假返回B)np.random.RandomState.rand(n)np.vstack(数组1, 数组2)np.mgrid[]、x.ravel()、二、神经网络复杂度空间复杂度时间复杂度指数衰减学习率激活函数激活函数输出值的范围Sigmoid函数Tanh函数Relu函数Leaky Relu函数损失函数（loss）均方误差损失函数交叉熵损失函数自定义损失函数 一、常用函数 tf.where(条件语句，真返回A, 假返回B) 条件语句真返回A，条件语句假返回.
tensorflow学习笔记——优化器
wxsy024680的博客
03-08 5176
搭建模型时，可以选择收敛速度最快的优化器，以提升训练速度；输出结果时，建议每个优化器都尝试一遍，最后选择准确率最高的优化器。没有哪个优化器绝对好，只有尝试了才知道。 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # 获取数据集 # one_hot设置为True，将标签数据转化为0/1，如[1,0,0,0,0,0,0,0,0,0] mnist=input_data.read_data_se
优化器SGD、adagrad,adam比较
07-17
SGD（随机梯度下降）、Adagrad和Adam是常用的优化器算法，用于在深度学习中更新模型参数以最小化损失函数。它们有不同的特点和适用场景： 1. SGD（随机梯度下降）： - 优点：简单、易于理解和实现。 - 缺点：收敛速度相对较慢，可能会陷入局部最优。 - 适用场景：较小规模的数据集、线性模型或浅层神经网络。 2. Adagrad（自适应梯度算法）： - 优点：自适应地调整每个参数的学习率，对稀疏数据和具有不同尺度的特征具有较好的适应性。 - 缺点：学习率在训练过程中会不断减小，可能导致训练过早停止。 - 适用场景：自然语言处理（NLP）等稀疏数据集、非凸优化问题。 3. Adam（自适应矩估计）： - 优点：结合了Momentum和RMSprop的优点，在不同的数据集上通常表现较好。 - 缺点：对于一些问题可能过度依赖于动量和自适应学习率。 - 适用场景：大规模数据集、复杂的深度神经网络。 总体而言，选择哪种优化器取决于具体的问题和数据集。在实践中，可以尝试不同的优化器，并根据模型的性能和收敛速度进行比较，选择最适合的优化器。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值