优化器整理

最新推荐文章于 2024-02-04 22:07:19 发布
最新推荐文章于 2024-02-04 22:07:19 发布
阅读量180 收藏
点赞数 1
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51715775/article/details/115769830
版权

优化器整理

梯度下降优化算法

标准梯度下降法(GD)

在这里插入图片描述
在这里插入图片描述

标准梯度下降法主要有两个缺点:
  • 训练速度慢：每走一步都要要计算调整下一步的方向，下山的速度变慢。在应用于大型数据集中，每输入一个样本都要更新一次参数，且每次迭代都要遍历所有的样本。会使得训练过程及其缓慢，需要花费很长时间才能得到收敛解。
  • 容易陷入局部最优解：由于是在有限视距内寻找下山的反向。当陷入平坦的洼地，会误以为到达了山地的最低点，从而不会继续往下走。所谓的局部最优解就是鞍点。落入鞍点，梯度为0，使得模型参数不在继续更新。

批量梯度下降法(BGD)

在这里插入图片描述

梯度下降中的困难

小小批量梯度下降不能保证良好的收敛性，还存在一些其他的问题：

  • 很难选择一个合适的学习率，如果学习率太小，将会导致收敛非常缓慢；如果学习率太大，也会阻碍收敛，导致损失函数值在最小值附近波动甚至发散。
  • 上述问题可以通过提前定义一个学习速率表，当达到相应轮数或者阈值时根据表改变学习率，但是这样无法适应训练数据本身特征。
  • 对于所有参数我们使用同一个学习速率，如果我们的数据是稀疏的或者我们特征具有不同的频率，我们可能不希望将它们更新到同样的程度，并且我们希望对那些出现频率低的特征更新更快。
  • 在神经网络中，普遍是具有非凸的误差函数，这使得在优化网络过程中，很容易陷入无数的局部最优点，而且更大困难往往也不是陷入局部最优点，而是来自鞍点（也就是在一个维度上其梯度是递增，另一个维度其梯度是递减，而在鞍点处其梯度为0），这些鞍点附近往往被相同误差点所包围，且在任意维度梯度近似为0，所以随机梯度下降很难从这些鞍点逃出。
    在这里插入图片描述

梯度下降优化算法

用于解决上述困难的算法，这些算法有个共同之处，一般是求一阶动量(m)和二阶动量(V)，然后利用一阶、二阶动量本身或者他们组合来优化梯度下降（其中一阶动量为与梯度相关函数，二阶动量为与梯度平方相关的函数）
在这里插入图片描述

动量（momentum）

随机梯度下降的方法很难通过峡谷区域（也就是在一个维度梯度变化很大，另一个维度变化较小），这个很好理解，因为梯度下降是梯度更新最大的反方向，如果这个时候一个维度梯度变化很大，那么就很容易在这个方向上振荡，另一个方向就更新很慢

  • 没有加动量
    在这里插入图片描述
    加了动量的方法
    在这里插入图片描述
    有动量可以在变化小的维度上加快更新，使得加快收敛。该方法是通过添加一个参数β构建一个一阶动量m
    在这里插入图片描述
    在这里插入图片描述
    “从本质上说，动量法，就像我们从山上推下一个球，球在滚下来的过程中累积动量，变得越来越快（直到达到终极速度，如果有空气阻力的存在，则γ<1）。同样的事情也发生在参数的更新过程中：对于在梯度点处具有相同的方向的维度，其动量项增大，对于在梯度点处改变方向的维度，其动量项减小。因此，我们可以得到更快的收敛速度，同时可以减少摇摆。”
    根据表达式2，梯度方向是一直向下的，自然参数更新幅度也就是一直累加的，也就变得越来越大；而当遇到山沟，越过山沟此时就在另一边山坡，这个时候梯度方向是跟之前相反的，此时由于之前梯度大小的累加，在两个山坡间的变化就会被互相抵消掉，也就不会一直在两个山坡振荡，容易朝山沟向下走，也就是减少摇摆了

NAG（Nesterov accelerated gradient）

在这里插入图片描述
在这里插入图片描述

Adagrad

用一批数据训练网络，这个数据中只有少部分数据含有某个特征，另一个特征几乎全部数据都具有，当这些数据通过训练时，对于不同特征我们假设对应于不同的神经元权重，对于都含有的特征，这些神经元对应参数更新很快，但是对于那些只有少部分数据含有的特征，对应神经元权重获得更新机会就少，但是由于学习率一样，这样可能导致神经网络训练的不充分。
  adagrad算法就是为了解决这个问题，让学习率学习数据的特征自动调整其大小，adagrad算法引入了二阶动量
在这里插入图片描述
但是adagrad同样也有问题，就是其分母随着训练数增加，也会跟着增加，这样会导致学习速率越来越小，最终变的无限小，从而无法有效更新参数

#Adagrad
v_w+=tf.square(grads[0])
v_b+=tf.square(grads[1])
w1.assign_sub(lr*grads[0]/tf.sqrt(v_w))
b1.assign_sub(lr*grads[1]/tf.sqrt(v_b))

adadelta

在这里插入图片描述
对于adagrad算法带来的分母越来越大的问题就可以解决了，但是，此算法以及之前提到的算法（SGD、动量、adagrad）的参数之间单位并不匹配，而按理说参数更新应该具有与参数相同的单位。
对随机梯度下降算法（SGD）来进行参数之间单位关系讨论
SGD算法的参数更新方程式为
在这里插入图片描述

假设loss的单位为b，而参数的单位为c，学习率没有单位，设为1，这个时候我们就发现，上面的等式的单位运算为：c=c-1*(b/c)，这明显单位不匹配
解决方法就是利用与二阶动量V(t)类似的运算对参数变化量deta(θ)做运算求它的二阶动量
在这里插入图片描述

RMSprop

在这里插入图片描述

#RMSProp
v_w=beta*v_w+(1-beta)*tf.square(grads[0])
v_b=beta*v_b+(1-beta)*tf.square(grads[1])
w1.assign_sub(lr*grads[0]/tf.sqrt(v_w))
b1.assign_sub(lr*grads[1]/tf.sqrt(v_b))

Adam

Adam(Adaptive Moment Estimation)自适应矩估计，是另一种自适应学习率的算法，它是一种将动量和Adadelta或RMSprop结合起来的算法，也就引入了两个参数β1和β2，其一阶和二阶动量公式为：
在这里插入图片描述
发现一阶和二阶动量初始训练时很小，接近为0，因为β值很大，重新计算一个偏差来校正：
在这里插入图片描述
在这里插入图片描述

#Adam
m_w=0
m_b=0
v_w=0
v_b=0
beta1=0.9
beta2=0.999
delta_w=0
delta_b=0
global_step=0

m_w=beta1*m_w+(1-beta1)*grads[0]
m_b=beta1*m_b+(1-beta1)*grads[1]
v_w=beta2*v_w+(1-beta2)*tf.square(grads[0])
v_b=beta2*v_b+(1-beta2)*tf.square(grads[1])


m_w_correction=m_w/(1-tf.pow(beta1,int(global_step)))
m_b_correction=m_b/(1-tf.pow(beta1,int(global_step)))
v_w_correction=v_w/(1-tf.pow(beta2,int(global_step)))
v_b_correction=v_b/(1-tf.pow(beta2,int(global_step)))


w1.assign_sub(lr*m_w_correction/tf.sqrt(v_w_correction))
b1.assign_sub(lr*m_b_correction/tf.sqrt(v_b_correction))

AdaMax

在这里插入图片描述

在这里插入图片描述

Nadam

Adam将RMSprop和动量结合起来，我们也可以看到NAG其实比动量表现更好。
Nadam（Nesterov-accelerated Adaptive
Moment Estimation），Nesterov加速的自适应矩估计，将adam和NAG结合起来，为了将NAG添加到Adam，我们需要对动量部分进行一些改变
将NAG梯度更新公式变为:
在这里插入图片描述
在这里插入图片描述

AMSGrad

随着自适应学习速率的方法成为训练神经网络的规范，研究者就发现，在一些情况下比如目标识别、机器翻译领域，自适应学习速率的方法无法收敛到最佳情况，并且弱于基于动量的随机梯度下降。
其梯度更新公式为：
在这里插入图片描述

梯度下降变形形式

批量归一化（BGD）

每次经过完整一轮训练后更新一次参数，这使得梯度下降过程变得比较慢，并且需要很大内存保存中间结果。

for i in range(nb_epochs):
  params_grad = evaluate_gradient(loss_function, data, params)
  params =params - learning_rate * params_grad

随机梯度下降（SGD）

随机梯度下降是对每个训练样本就更新一次网络参数，这样使得网络更新参数速度很快，但是问题就是由于训练数据多样，容易朝偏离网络最优点方向训练，网络训练不稳定。

for i in range(nb_epochs):
    np.random.shuffle(data)
    for example in data:
        params_grad= evaluate_gradient(loss_function, example, params)
        params =params - learning_rate * params_grad

在这里插入图片描述
在这里插入图片描述

优点
  • 虽然SGD需要走很多步的样子，但是对梯度的要求很低（计算梯度快）。而对于引入噪声，大量的理论和实践工作证明，只要噪声不是特别大，SGD都能很好地收敛。
  • 应用大型数据集时，训练速度很快。比如每次从百万数据样本中，取几百个数据点，算一个SGD梯度，更新一下模型参数。相比于标准梯度下降法的遍历全部样本，每输入一个样本更新一次参数，要快得多。
缺点
  • SGD在随机选择梯度的同时会引入噪声，使得权值更新的方向不一定正确。
  • SGD也没能单独克服局部最优解的问题。

SGDM

SGDM是在SGD的基础上增加了一阶动量，二阶动量仍为1
在这里插入图片描述

#SGDM
m_w=beta*m_w+(1-beta)*grads[0]
m_b=beta*m_b+(1-beta)*grads[1]
w1.assign_sub(lr*m_w)
b1.assign_sub(lr*m_b)

小批量梯度下降（MBGD）

小批量梯度下降是批量梯度下降与随机梯度下降之间的一个折中，即经过一个小批量的训练数据更新一次参数，可以保证网络训练速度不太慢，也能使训练方向不至于偏离太多，具有一定稳定性。当使用小批量梯度下降时，通常也使用SGD这个术语。

for i in range(nb_epochs):
    np.random.shuffle(data)
    for batch in get_batches(data, batch_size=50):
        params_grad= evaluate_gradient(loss_function, batch, params)
        params =params - learning_rate * params_grad

应用于简单分类问题的比较

Tensorflow中封装了一系列的优化器
采用选取几种优化器应用于UCI数据集iris.data简单的分类问题

使用SGD优化器

train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss)

第1个训练周期训练集的准确率为：33.3%,  测试集的准确率为：32.2%
第2个训练周期训练集的准确率为：33.3%,  测试集的准确率为：32.2%
第3个训练周期训练集的准确率为：38.9%,  测试集的准确率为：35.6%
第4个训练周期训练集的准确率为：62.2%,  测试集的准确率为：62.7%
第5个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第6个训练周期训练集的准确率为：66.7%,  测试集的准确率为：67.8%
第7个训练周期训练集的准确率为：66.7%,  测试集的准确率为：67.8%
第8个训练周期训练集的准确率为：67.8%,  测试集的准确率为：67.8%
第9个训练周期训练集的准确率为：67.8%,  测试集的准确率为：67.8%
第10个训练周期训练集的准确率为：67.8%,  测试集的准确率为：67.8%

使用AdaGrad优化器

train_step = tf.train.AdagradOptimizer(0.01).minimize(loss)

第1个训练周期训练集的准确率为：33.3%,  测试集的准确率为：32.2%
第2个训练周期训练集的准确率为：35.6%,  测试集的准确率为：32.2%
第3个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第4个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第5个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第6个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第7个训练周期训练集的准确率为：66.7%,  测试集的准确率为：67.8%
第8个训练周期训练集的准确率为：66.7%,  测试集的准确率为：67.8%
第9个训练周期训练集的准确率为：67.8%,  测试集的准确率为：69.5%
第10个训练周期训练集的准确率为：68.9%,  测试集的准确率为：69.5%

从运行结果上可以看出使用AdaGrad优化器相比于SGD似乎没有较大的提升。

使用Momentum优化器

train_step = tf.train.MomentumOptimizer(learning_rate=0.01, momentum=0.9).minimize(loss)

第1个训练周期训练集的准确率为：58.9%,  测试集的准确率为：61.0%
第2个训练周期训练集的准确率为：40.0%,  测试集的准确率为：42.4%
第3个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第4个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第5个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第6个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第7个训练周期训练集的准确率为：67.8%,  测试集的准确率为：67.8%
第8个训练周期训练集的准确率为：67.8%,  测试集的准确率为：67.8%
第9个训练周期训练集的准确率为：67.8%,  测试集的准确率为：69.5%
第10个训练周期训练集的准确率为：70.0%,  测试集的准确率为：67.8%

Momentum优化器略优于AdaGrad优化器和SGD，但收敛速度要比后两者快（第1-2个训练周期就可以达到60%的准确率）。

使用NAG优化器

train_step = tf.train.MomentumOptimizer(learning_rate=0.01, momentum=0.9, use_nesterov=True).minimize(loss)


第1个训练周期训练集的准确率为：37.8%,  测试集的准确率为：39.0%
第2个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第3个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第4个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第5个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第6个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第7个训练周期训练集的准确率为：66.7%,  测试集的准确率为：67.8%
第8个训练周期训练集的准确率为：67.8%,  测试集的准确率为：69.5%
第9个训练周期训练集的准确率为：70.0%,  测试集的准确率为：69.5%
第10个训练周期训练集的准确率为：71.1%,  测试集的准确率为：69.5%

NAG和Momentum结果差不多，NAG好一点点

使用RMSProp优化器

train_step = tf.train.RMSPropOptimizer(0.01).minimize(loss)

（RMSProp运行结果不稳定，下面是出现比较多的相近结果）

第1个训练周期训练集的准确率为：33.3%,  测试集的准确率为：32.2%
第2个训练周期训练集的准确率为：33.3%,  测试集的准确率为：32.2%
第3个训练周期训练集的准确率为：35.6%,  测试集的准确率为：35.6%
第4个训练周期训练集的准确率为：48.9%,  测试集的准确率为：49.2%
第5个训练周期训练集的准确率为：35.6%,  测试集的准确率为：35.6%
第6个训练周期训练集的准确率为：38.9%,  测试集的准确率为：42.4%
第7个训练周期训练集的准确率为：51.1%,  测试集的准确率为：50.8%
第8个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第9个训练周期训练集的准确率为：60.0%,  测试集的准确率为：62.7%
第10个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%

RMSProp优化器的效果不理想，而且不稳定

使用Adam优化器

train_step = tf.train.AdamOptimizer(0.001).minimize(loss)

第1个训练周期训练集的准确率为：33.3%,  测试集的准确率为：33.9%
第2个训练周期训练集的准确率为：36.7%,  测试集的准确率为：37.3%
第3个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第4个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第5个训练周期训练集的准确率为：66.7%,  测试集的准确率为：67.8%
第6个训练周期训练集的准确率为：67.8%,  测试集的准确率为：67.8%
第7个训练周期训练集的准确率为：67.8%,  测试集的准确率为：67.8%
第8个训练周期训练集的准确率为：71.1%,  测试集的准确率为：67.8%
第9个训练周期训练集的准确率为：71.1%,  测试集的准确率为：69.5%
第10个训练周期训练集的准确率为：71.1%,  测试集的准确率为：69.5%

使用AdaDelta优化器

train_step = tf.train.AdadeltaOptimizer(1).minimize(loss)

第1个训练周期训练集的准确率为：60.0%,  测试集的准确率为：64.4%
第2个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第3个训练周期训练集的准确率为：66.7%,  测试集的准确率为：66.1%
第4个训练周期训练集的准确率为：66.7%,  测试集的准确率为：67.8%
第5个训练周期训练集的准确率为：67.8%,  测试集的准确率为：69.5%
第6个训练周期训练集的准确率为：70.0%,  测试集的准确率为：69.5%
第7个训练周期训练集的准确率为：72.2%,  测试集的准确率为：71.2%
第8个训练周期训练集的准确率为：73.3%,  测试集的准确率为：76.3%
第9个训练周期训练集的准确率为：75.6%,  测试集的准确率为：84.7%
第10个训练周期训练集的准确率为：76.7%,  测试集的准确率为：88.1%

AdaDelta优化器效果很好

可视化比较

在这里插入图片描述
在这里插入图片描述
参考博客
https://blog.csdn.net/qq_42109740/article/details/105401197?utm_source=app&app_version=4.5.2

梵魉
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
20、TensorFlow教程--- 优化器
Knowledgebase的博客
10-01 281
优化器是扩展类，其中包含训练特定模型所需的附加信息。优化器类使用给定的参数进行初始化，但重要的是要记住不需要 Tensor。优化器用于提高训练特定模型的速度和性能。- 带梯度剪切的随机梯度下降（Stochastic Gradient Descent with Gradient Clipping）这个类在 tensorflow/python/training/optimizer.py 的指定路径中定义。在我们的后续章节中，我们将专注于梯度下降优化以及优化器的实现。TensorFlow 的基本优化器是 −。
TensorFlow之优化器Optimizer
kk123k的博客
02-11 2469
原创博客，转载请注明出处！   一、TensorFlow的优化器类 在TensorFlow中，编写好前向函数和损失函数后，可以直接调用TensorFlow自带的优化器去优化损失函数。 在TensorFlow中，每个优化方法都是一个类，常见的几种优化方法如下： GradientDescentOptimizer AdagradOptimizer AdagradDAOptimizer ...
优化器篇（整理网上资源，侵删）
qq_39667545的博客
09-07 215
1. 梯度下降(gradient descent)： 三种梯度下降方式： 全量梯度下降；SGD；mini-batch 梯度下降 mini-batch的缺点： 1. 对步长比较敏感 2.不同参数使用相同的步长 3.可能无法跳出鞍点 2. momentum： 针对SGD在局部最优点处的震荡问题，增加上一时刻的梯度信息，当两个梯度同向，则增强梯度下降，否则，降低梯度下降。 3. NAG 在momentum的基础上...
第十一周 tensorflow中的优化器对比
qq_44753643的博客
04-28 319
我们的数据图片共有1800 张,十七个类别,类别即为文件夹名。
常用的TensorFlow优化器
最新发布
weixin_74075792的博客
02-04 370
以下是一些常用的TensorFlow优化器，以及如何在`model.compile`方法中使用它们。注意，这里的`lr`参数在TensorFlow 2.x中已被重命名为`learning_rate`，但为了兼容性，一些示例将使用`lr`。在选择优化器时，您可以根据问题的具体需求和模型的特性进行选择。在实际应用中，可能需要尝试多种优化器和参数组合，以找到最适合您的模型和数据的配置。每个优化器都有其特点和适用场景。例如，Adam是最常用的优化器之一，因为它结合了RMSprop和SGD的优点，适用于大多数情况。
纯真IP整理器
09-14
这款整理器的设计目的是优化和提升IP数据库的管理和使用效率。 首先，我们要理解IP地址的结构。IP地址是由32位二进制组成，通常分为四段，每段8位，用十进制表示，段间用点号分隔，例如192.168.1.1。这种表示方式被...
文本整理器3.0.rar
04-09
【文本整理器3.0.rar】是一个压缩包文件，其中包含了一个名为"文本整理器"的应用程序及相关资源。从给出的文件列表来看，我们可以推测这是一个用于处理和整理文本的软件工具，版本为3.0。下面我们将详细探讨可能涉及...
json代码整理优化
06-20
综上所述，"json代码整理优化"这个主题涵盖了解析、编辑和优化JSON数据的方法，以及在Java开发中的应用。JsonView作为一款工具，可以帮助开发者更高效地处理JSON，提升工作效率。在实际开发中，合理利用这类工具和...
ORACLE性能优化工具整理
11-16
Oracle性能优化工具整理 Oracle数据库作为全球广泛使用的商业数据库管理系统，其性能优化对于确保数据库稳定运行、提高应用响应速度至关重要。性能优化不仅需要通过合理设计数据库模式、编写高效SQL语句等手段，而且...
MSSQL Server 查询优化方法 整理
09-11
10. **编写高效的T-SQL**：理解查询优化器的工作原理，遵循最佳实践，避免冗余操作，以及正确使用事务（如避免在动态SQL中直接使用事务）。 总之，SQL Server查询优化是一个涉及多方面因素的综合过程，需要从硬件、...
tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比.docx
05-01
tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比，word 文档。
tensorflow（五）----优化器
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
10-20 456
tensorflow—优化器 一、基础知识 1.损失函数 损失函数是评估特定模型参数和特定输入时，表达模型输出的推理值与真实值之间不一致程度的函数。形式化定义如下： 其中xi是样本，θ是模型参数，f(xi;θ)是模型预测的值，y-i是真实的测试数据。f(xi;θ)越接近y-i，说明模型拟合越的接近真实值。 常见的损失函数有平方损失函数、交叉熵损失函数和指数损失函数： 2.经验风险 使用损失函数...
TensorFlow优化器
健身房
05-31 2117
  深度学习常见的是对于梯度的优化，优化器最后其实就是各种对于梯度下降算法的优化。TensorFLow提供了很多优化器的支持。 tf.train.GradientDescentOptimizer   这个类是实现梯度下降算法的优化器。 tf.train.AdadeltaOptimizer   实现了Adadelta算法的优化器，该算法不需要手动调优学习速率，抗噪声能力强，可以选择不同的模型结构。Adadelta是对Adagrad的扩展。Adadelta只累加固定大小的项，并且也不直接存储这些项，仅仅是计算对
深度学习框架TensorFlow系列之（五）优化器1
老码农
01-23 1703
1 背景 梯度下降算法是目前最流行的优化算法之一，并且被用来优化神经网络的模型。业界知名的深度学习框架TensorFlow、Caffe等均包含了各种关于梯度下降优化器的实现。然而这些优化器经常被用作黑盒使用，而无法对这些优化算法的优缺点以及适用场景没有一个全面而深刻的认知，可能造成无法在特定的场景使用最优解的情况。 这篇文章主要对各种梯度下降优化算法进行全面成体系的分析，帮助相关的算法开发人员在模型开发的过程中选取合适的优化器。所以整个内容会比较多，将要分成几个章节进行分析，以下是初步的章节情况，本章会介绍
tensorflow学习探究（二）-----------优化器optimizer功能在代码中体现的探究
由山的博客
03-17 444
写在前面：对于优化器，笔者学习时对于优化器的工作原理感到很疑惑，在上网查了一些资料和自己编写代码实验后终于发现了优化器的工作体现在哪！！！ 笔者是纯萌新，这是学习时的学习笔记，如果理解不对还望大佬指出！！！ 笔者使用的是tensorflow1.14.0和ubuntu16.04！！！ 1.提出问题 优化器optimizer在代码中一般以train_op = tf.train.GradientDesc...
Tensorflow 优化器（optimizer）
热门推荐
Learning-Deep
12-11 3万+
所谓的优化器，就是tensorflow中梯度下降的策略，用于更新神经网络中数以百万的参数。工程师们除了在不断的推出新的神经网络的结构以外，还在不断的推出新的参数更新的策略，在这篇博客中，我们就列举tensorflow中所有的优化器，并对几个进行讲解。 为了列举所有的优化器，我们首先把tf包中所有的优化器都罗列出来。这里使用的是tf10版本，目前最新的版本，进入python，用dir(tf.trai...
tensorflow优化器_TensorFlow-优化器
cunzai1985的博客
09-23 313
tensorflow优化器 TensorFlow-优化器 (TensorFlow - Optimizers) Advertisements 广告 Previous Page 上一页 Next Page 下一页 Optimizers are the extended class, which include added information to train a ...
Tensorflow之网络优化以及超参数的选择
m0_64578069的博客
01-13 1281
1）过拟合就是在训练集上表现良好但在测试集上表现较差，即“泛化能力较差”。2）欠拟合就是在训练集上表现较差，在测试集上表现也较差。图1如图1所示，好的拟合状态并不是在训练集上百分之百正确 ，而是既要在训练集表现良好，又要在测试集表现良好。其实已知过拟合最好的办法就是增加训练数据和减小网络容量，使用小型网络迫使学习最关键的数据。三、实例（一）开发过拟合模型，以fashion_mnist数据集为例（增加网络层数）1、先增加模型拟合能力# 1、导入库# 2、加载fashion_mnist数据集。
深度学习框架TensorFlow系列之（五）优化器3
老码农
03-06 1354
1 背景 梯度下降算法是目前最流行的优化算法之一，并且被用来优化神经网络的模型。业界知名的深度学习框架TensorFlow、Caffe等均包含了各种关于梯度下降优化算法的实现。然而这些优化算法（优化器）经常被用作黑盒优化器，造成对这些算法的优缺点以及适用场景没有一个全面而深刻的认知，可能造成无法在特定的场景使用最优解。 梯度下降法的的目标是在梯度的相反方向进行模型参数的更新，从几何学来说，就是沿着斜率的方向（最快）由目标函数创建的曲面一直向下直到山谷，并且通过合理的步长设置加快与稳定算法模型的收敛，训
Oracle段碎片整理与性能优化策略
本章节重点关注段的碎片整理作为性能优化的一种策略。段是由范围组成的逻辑存储单元，当数据分布不均导致碎片过多时，可能影响查询效率。通过DBA_segments和DBA_extents数据字典，管理员可以检查段的状态。优化的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值