tf.keras.activation.selu()

最新推荐文章于 2022-03-27 14:57:35 发布
最新推荐文章于 2022-03-27 14:57:35 发布
阅读量265 收藏
点赞数
分类专栏： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fuzizhu1/article/details/118153536
版权
本文探讨了tf.keras.activation.selu函数如何通过结合ReLU和Sigmoid特性来缓解深度神经网络中的梯度消失问题。通过介绍预定义参数的选择原则，以及它在权重初始化和大量输入下的表现，揭示了Selu在保持输入特征稳定性上的关键作用。
摘要由CSDN通过智能技术生成 
tf.keras.activation.selu(X)

减缓梯度消失
selu=scale * elu（x，alpha），其中alpha和scale是预定义的常量。 选择alpha和scale的值，以便在两个连续层之间保留输入的平均值和方差，只要正确初始化权重并且输入的数量“足够大”。
elu：融合relu和sigmoid，
在这里插入图片描述
其他方法：
添加批归一化

spider_fu
关注
专栏目录
Tensorflow 2.x(keras)源码详解之第七章：keras中的tf.keras.layers
weixin_43178406的博客
06-10 9109
1. 综述 2. 激活函数Activation 3. Dense 4. Conv2D 5. MaxPool2D 6. GlobalMaxPool2D 7. AveragePooling2D 8. GlobalAveragePooling2D 9. Conv1D 10. MaxPool1D 11. AveragePooling1D 12. GlobalMaxPool1D 13. GlobalAveragePooling1D 14 RNN相关 14.1 SimpleRNNCell 14.2 RNN 14.3 .
Keras学习笔记8——keras.layers.Activation
winter_python的博客
09-21 6787
目录激活函数的用法预定义激活函数softmaxeluselusoftplussoftsignrelutanhsigmoidhard_sigmoidexponentiallinear高级激活函数 来源 激活函数的用法 激活函数可以通过设置单独的激活层实现，也可以在构造层对象时通过传递 activation 参数实现： from keras.layers import Activation, Dense model.add(Dense(64)) model.add(Activation('tanh')) #
SeLU 激活函数
南有乔木NTU的博客
08-17 1万+
SeLU最近arXiv出来一篇新文章，102页的Paper，90+页的附录，密密麻麻的公式证明，已经和我暂时绝缘了， 心疼审稿人1秒。虽然看不懂，并不影响我们使用，总结起来就是下图：代码放到Tensorflow里面就下面几行：def selu(x): with ops.name_scope('elu') as scope: alpha = 1.6732632423543772
tf.keras.activations.selu（十）
TJMtaotao的博客，高校计算机教师
04-25 277
tf.keras.activations.selu tf.keras.activations.selu(x) Defined intensorflow/python/keras/activations.py. Scaled Exponential Linear Unit. (Klambauer et al., 2017). Arguments: x: A tensor or ...
SELU︱在keras、tensorflow中使用SELU激活函数
素质云笔记
08-02 1万+
arXiv 上公开的一篇 NIPS 投稿论文《Self-Normalizing Neural Networks》引起了圈内极大的关注，它提出了缩放指数型线性单元（SELU）而引进了自归一化属性，该单元主要使用一个函数 g 映射前后两层神经网络的均值和方差以达到归一化的效果。 Shao-Hua Sun 在 Github 上放出了 SELU 与 Relu、Leaky Relu 的对比，机器之心对...
tensorflow2图像分类实战激活函数selu
u013705056的博客
12-22 1158
1. 内容回顾 上一篇文章主要从理论方面讲述了激活函数的相关概念和一些注意事项。本篇文章将会主要介绍tensorflow2.2中如何进行激活函数的设置和模型的训练。 2. 代码实战讲解 我们仍旧以图片分类的例子进行实战，可以参看之前的《TensorFlow2 Fashion-MNIST图像分类》部分。 之前提到selu激活函数自带了很多的优势，比如自带归一化功能，训练速度比较快。所以我们将会使用该激活函数进行试验，selu激活函数的这些优势，让它被广泛使用。 模型代码部分如下： # tf.keras.mod
07 selu函数
qq_37959072的博客
06-19 3319
1.只将梯度下降函数改为selu '''分类问题 selu函数能缓解梯度消失''' import tensorflow as tf import matplotlib as mpl import matplotlib.pyplot as plt import numpy as np import sklearn import pandas as pd import os import sys import time from tensorflow import keras #导入数据 fashion_mn
keras layers笔记
allen的博客
09-30 3325
文章目录base`Layer.get_weights()`:Returns the current weights of the layer`Layer.set_weights(weights)`: Sets the weights of the layer, from Numpy arrays.`Model.get_config()`: config of the layer`Layer.add_loss(losses, **kwargs)`: Add loss tensor(s), potentiall
tf.keras.activations.get（六）
TJMtaotao的博客，高校计算机教师
04-25 1251
tf.keras.activations.get(identifier) Defined intensorflow/python/keras/activations.py. @tf_export('keras.activations.get') def get(identifier): if identifier is None: return linear if ...
import tensorflow as tf from tensorflow.keras import datasets, layers, models, optimizers from tensorflow.keras.preprocessing import image_dataset_from_directory import matplotlib.pyplot as plt # 定义数据集路径 data_dir = r'F:\Pycham\project\data\FMD' # 定义图像大小和批处理大小 image_size = (224, 224) batch_size = 32 # 从目录中加载训练数据集 train_ds = image_dataset_from_directory( data_dir, validation_split=0.2, subset="training", seed=123, image_size=image_size, batch_size=batch_size) # 从目录中加载验证数据集 val_ds = image_dataset_from_directory( data_dir, validation_split=0.2, subset="validation", seed=123, image_size=image_size, batch_size=batch_size) # 构建卷积神经网络模型 model = models.Sequential() model.add(layers.experimental.preprocessing.Rescaling(1./255, input_shape=(image_size[0], image_size[1], 3))) model.add(layers.Conv2D(32, (3, 3), activation='selu')) model.add(layers.MaxPooling2D((2, 2))) model.add(layers.Conv2D(64, (3, 3), activation='selu')) model.add(layers.MaxPooling2D((2, 2))) model.add(layers.Conv2D(64, (3, 3), activation='selu')) model.add(layers.Conv2D(128, (3, 3), activation='selu')) model.add(layers.MaxPooling2D((2, 2))) # 添加全连接层 model.add(layers.Flatten()) model.add(layers.Dense(128, activation='selu')) model.add(layers.Dropout(0.5)) model.add(layers.Dense(64, activation='selu')) model.add(layers.Dense(10)) # 编译模型，使用 SGD 优化器和 Categorical Crossentropy 损失函数 model.compile(optimizer=optimizers.SGD(learning_rate=0.01, momentum=0.9), loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['accuracy']) # 训练模型，共训练 20 轮 history = model.fit(train_ds, epochs=5, validation_data=val_ds) # 绘制训练过程中的准确率和损失曲线 plt.plot(history.history['accuracy'], label='accuracy') plt.plot(history.history['val_accuracy'], label = 'val_accuracy') plt.xlabel('Epoch') plt.ylabel('Accuracy') plt.ylim([0.5, 1]) plt.legend(loc='lower right') plt.show() # 在测试集上评估模型准确率 test_loss, test_acc = model.evaluate(val_ds) print(f'测试准确率: {test_acc}')上述代码得出的准确率仅为0.5，请你通过修改学习率等方式修改代码，假设数据集路径为F:\Pycham\project\data\FMD
最新发布
06-03
loss=tf.keras.losses.CategoricalCrossentropy(from_logits=True), metrics=['accuracy']) # 训练模型，共训练 20 轮 history = model.fit(train_ds, epochs=20, validation_data=val_ds) # 绘制训练过程中的...
TensorFlow激活函数大全
bigcindy的博客
07-05 3367
参考网址：https://keras.io/api/layers/activations/ 1. ReLU函数 Relu函数的作用是求最大值，其公式为： 在实数定义域内连续，但在0处不可微，但在实际应用中如果碰到0处求导的情况，默认直接让其导数等于0，这样就解决了0处不可导的问题。ReLU用于激活函数的优点是计算导数简单，如果X大于0，导数为1，如果X小于0，导数为0。 tf.keras.activations.relu(x, alpha=0.0, max_value=None, thresh
sigmoid函数_激活函数
weixin_39600400的博客
11-23 2093
为什么使用激活函数如果没有激活函数，神经网络就变成了线性模型，输出是输入的线性组合，使用一层与使用多层没有区别。如下式所示，输入为x，经过线性层计算出a1，将a1输入下个线性层得到a2，展开后可以看出，最终得到的仍然是wx+b的线性组合，只是参数值不同。另外，线性层无法解决非线性问题，如在预测房价问题中，如果不使用激活函数，则房价可能计算成负值，这也与实际不符。理论上，加了激活函数后，模型可以逼近...
Keras(四)实现批标准化、激活函数、dropout
TFATS的博客
11-24 2046
本文将详细介绍： 实现批归一化 实现selu激活函数 实现dropout 一，实现批归一化 在模型中加入批归一化层。 激活函数relu在keras中可以独立以层级的方式加入。 关于BatchNormalization的介绍 https://www.freesion.com/article/1720963165/ 1，keras实现批归一化代码如下 model = keras.models.Sequential() model.add(keras.layers.Flatten(input_shape=
ReLu&SeLu&其他
蛋疼猫的博客
11-20 6067
SeLu的简单介绍以及几种情况下的SeLu下和几种情况下的ReLu的比较
ReLU、LReLU、PReLU、CReLU、ELU、SELU
热门推荐
luxiaohai学习专栏
01-22 7万+
ReLU LReLU PReLU CReLU ELU SELUReLU tensorflow中：tf.nn.relu(features, name=None)LReLU(Leaky-ReLU) 其中aia_i是固定的。ii表示不同的通道对应不同的aia_i. tensorflow中：tf.nn.leaky_relu(features, alpha=0.2, name=None)PReLU
Module之 tf.keras（ tf.keras.activations）（二）
TJMtaotao的博客，高校计算机教师
04-24 310
Module: tf.keras.activations Defined intensorflow/keras/activations/__init__.py. Built-in activation functions. Functions deserialize(...) elu(...) get(...) hard_sigmoid(...) linear(...) rel...
Tensorflow keras 激活函数
weixin_42272768的博客
01-05 3569
激活函数的作用 激活函数是神经网络的重要组成部分。通过激活函数，可以让神经网络很好的解决非线性问题。在最初的阶段，使用的激活函数是sigmoid函数。但是此激活函数存在严重的梯度消失问题，在近期经常使用的是relu激活函数，而且出现了很多的变种relu函数。本文主要介绍tensorflow中keras部分的激活函数。 keras中的激活函数 keras中定义了多种的激活函数，几乎涵盖了所有的激活函数： 激活函数 描述 relu relu激活函数（修正线性单元） elu elu激活函数
分布式训练(一)——GPU设置
zhao_crystal的博客
03-23 5313
1. GPU设置 （1）默认用全部GPU并且内存全部占满（why GPU或者内存会全部占满？） （2）如何不浪费内存和计算资源？ 内存自增长：即弹性内存机制，内存自增长。需要多少内存，就用多少内存。 虚拟设备机制：类似于windows中的磁盘（系统中一般只有一个磁盘，单windows会将其分成好几个盘，比如C盘，D盘，E盘，每个盘放不同的东西）虽然只有一个GPU，但可以将其切分成多个逻辑上的GPU （3）多GPU使用 虚拟GPU & 实际GPU 手工设置 &a...
分布式训练(二)——分布式策略
zhao_crystal的博客
03-27 2509
1.为什么需要分布式 训练程序跑的慢。 训练程序跑的慢的原因： （1）数据量太大 训练要想达到较好的效果，往往需要的训练数据就会比较多，数据越多，模型的鲁棒性就越好。 模型的训练又以epoch为单位，把训练数据迭代一次，就是一个epoch。Epoch值越大，理论上来说，模型训练的越好，而当数据太大的时候，就会导致做一个epoch所需要的时间比较长 （2）模型太复杂 为了得到好的结果，往往需要复杂的模型。复杂的模型往往意味着更大的计算量，从而程序变慢。 日益增长的数据量和模型的复杂度与落后的计
缩放指数型线性单元（SELU）
yuelulu0629的专栏
08-04 4640
原文地址：https://www.jiqizhixin.com/articles/75832471-bf67-4450-9173-ada016694ee8?utm_source=tuicool&utm_medium=referral 近日，arXiv 上公开的一篇 NIPS 投稿论文《Self-Normalizing Neural Networks》引起了圈内极大的关注，它提出了缩放指数型线
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值