TensorFlow1.x和TensorFlow2.x的layer实现上的区别

最新推荐文章于 2022-06-29 16:51:11 发布
最新推荐文章于 2022-06-29 16:51:11 发布
阅读量1.2k 收藏
点赞数
文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42256251/article/details/113308633
版权

TensorFlow1.x和TensorFlow2.x的layer实现上的区别

  • tf.contrib.layers.layer_norm vs. tf.keras.layers.LayerNormalization
    该layer主要是对输入进行规整操作。计算公式大概是：
    x = ( x - m ) / sqrt(v + esp)
    x *= gamma
    x += beta
    其中，gamma和beta两个参数在训练中得到，m和v是做inference的时候计算，在tf1.0中，m和v是按x所有的值做平均算方差，而在tf2.0中是按行做均值方差。

  • tf.nn.rnn_cell.LSTMCell vs. tf.keras.layers.LSTM
    该层的计算的差异在是否遗忘门输出加上bias，前者在遗忘门输出加了bias=1.0，后者没有添加。在参数存储上，tf1.x上的存储顺序是i,j,f,o,而tf2.x上存储的是i,f,j,o。

上面只是目前实践中发现的差异，后续有其他发现继续更新。

取什么名才不重复呢
关注
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现
04-19
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现;运行无误，示例为mnist手写体识别
未完成_Tensorflow（一）——layer
z982426247的博客
06-21 110
一、软件版本 （1）系统平台：window10 （2）python版本：3.9 （3）Tensorflow版本：2.5.0-rc1 二、内容 2.1 tf.keras.layers.Dens tf.keras.layers.Dense( units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regula...
用TensorFlow2.X运行TensorFlow1.X注意事项
weixin_44781912的博客
01-24 398
①如果遇到ModuleNotFoundError: No module named 'tensorflow.contrib错误 需要将原来的#import tensorflow.contrib.slim as slim注释使用import tf_slim as slim代码 #import tensorflow.contrib.slim as slim import tf_slim as slim 安装tf_slim pip install --upgrade tf_slim 或者 pip inst
关于tensorflow中layernormalization
qq_34418352的博客
04-22 1万+
众所周知循环神经网络不是十分适合LayerNormalization 关于LayerNormalization:https://blog.csdn.net/liuxiao214/article/details/81037416 LN中同层神经元输入拥有相同的均值和方差，不同的输入样本有不同的均值和方差；即假设图片shape为(m, h, w, c) m为批量大小，h为高 w为宽 c为通道 应...
tensorflow中Batch Normalization和Layer Normalization的实现
bonjourdeutsch的博客
11-05 5098
深度学习是一门经验主义的科学，也就是说，人们总是实验效果好了之后才尝试去解释。BN和LN进来得到这么广泛的应用，也不是因为其想法多么巧妙，而是因为其效果确实好。 tensorflow1.12版本中这两个函数的实现如下： tf.contrib.layers.batch_norm( inputs, decay=0.999, center=True, scale=F...
Tensorflow1.x 与 Tensorflow2.0的不同
feyily的博客
04-06 2187
简单来说，Tensorflow1.x 与 Tensorflow2.0的主要区别在于tf1.x使用静态图而tf2.x使用Eager Mode动态图。下图是Tensorflow2.0的架构图，使用keras API作为构建神经网络的工具。 Eager Mode动态图模式 在Eager Mode 推出之前，基于TensorFlow的程序使用的静态计算图，计算过程首先被编译成一个有向无环图。这种模式下...
TensorFlow2.x和1.x版本的代码差别问题
抹茶巧克力吖的博客
07-16 353
import tensorflow as tf 替换为： import tensorflow.compat.v1 as tf tf.disable_v2_behavior() ①AttributeError: module 'tensorflow' has no attribute 'placeholder' 解决办法：将tf.placeholder改成tf.compat.v1.placeholder ②AttributeError: module 'tensorflow' has .
StyleGAN2-TensorFlow-2.x:使用TensorFlow 2.x非官方实现StyleGAN2
04-22
使用TensorFlow 2.x的非官方实现StyleGAN2 config-f 。 来自Nvidia的官方论文： : 使用TensorFlow 1.x的官方仓库： : 额外功能 支持TensorFlow自定义操作 支持CPU使用率 Conv2D op当前不支持CPU上的分组卷积。 因此...
Highway_Conv1d_Keras_Tensorflow2:pytorch，keras和tensorflow2.x中的conv1d公路网络
04-09
本项目聚焦于一种特殊的卷积层——一维卷积层（Conv1D），并展示了如何在PyTorch、Keras以及TensorFlow 2.x框架中实现。下面我们将详细探讨一维卷积层及其在高速公路网络（Highway Networks）中的应用。 一维卷积层...
Tensorflow 2.x入门教程
「 虚幻私塾」
03-02 934
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 目录 前言层次结构概述创建张量计算图自动微分数据输入Numpy构建数据生成器构建数据keras.utils.Sequence搭建模型顺序建模函数式API建模自定义建模损失函数自定义损失函数度量函数函数自定义度量类自定义度量优化器回调函数Tensorboard训练模型model
基于tensorflow2.x卷积神经网络的寻迹小车实现.zip
最新发布
05-18
基于tensorflow2.x卷积神经网络的寻迹小车实现 卷积神经网络（Convolutional Neural Networks, CNNs 或 ConvNets）是一类深度神经网络，特别擅长处理图像相关的机器学习和深度学习任务。它们的名称来源于网络中使用...
TensorFlow 篇 | TensorFlow 2.x 基于 Keras 的模型构建
AlexanderJLiu的博客
10-26 1685
「导语」TensorFlow 2.0 版发布以来，Keras 已经被深度集成于 TensorFlow 框架中，Keras API 也成为了构建深度网络模型的第一选择。使用 Keras 进行模型开发与迭代是每一个数据开发人员都需要掌握的一项基本技能，让我们一起走进 Keras 的世界一探究竟。 Keras 介绍 Keras 是一个用 Python 编写的高级神经网络 API ，它是一个独立的库，能够以 TensorFlow ， CNTK 或者 Theano 作为后端运行。 TensorFlow 从 ..
LayerNorm实现
qq_44703354的博客
06-29 333
LayerNorm
tf.contrib.layer, tf.layer, tf.nn, tf.keras.layer, tf.contrib.slim 的区别联系
One Way的博客
02-14 2990
tensorflow 的不同模块下面存有很多相似的函数,目前会出现几种情况: tf不同模块下面的函数共享,通过别称来统一 tf不同模块下面的函数相似,使用情况相同,但函数本身稍有不同 tf不同版本之间的函数会有变更及废止,函数也可能出现迁移到其他模块下面的情况 tensorflow 1.8.版中各模块的官方解释： tf.contribute: contrib module containi...
layer-normalization 实现 & tf.contrib.layers.layer_norm
m0_38024592的博客
07-13 6449
文章目录方差（Variance）和标准差（Standard Deviation）方差标准差Layer Normalization 计算方法python 手工实现TensorFlow中的计算方式验证两种方式Reference 方差（Variance）和标准差（Standard Deviation） 方差 方差是总体所有变量值与其算术平均数偏差平方的平均值，它表示了一组数据分布的离散程度的平均值。标准差是方差的平方根，它表示了一组数据关于平均数的平均离散程度。 方差在概率论和统计学中有不同的定义， 概率论
总结一下tf2.3上遇到的奇奇怪怪的问题
weixin_45885232的博客
04-15 1561
自然语言处理方面，很多的代码是基于tf1.x的版本，这也导致了在目前的平台上没有办法使用。最近两周遇到的格外多，因此做一个小结： 1）module ‘tensorflow‘ has no attribute ‘xxx’ 首先尝试： import tensorflow.compat.v1 as tf tf.disable_v2_behavior() 能解决大多数问题 2）module ‘tensorflow.compat.v1 has no attribute contrib ‘xxxx’ 比较典型的问题
各种归一化层（BatchNorm、LayerNorm、InstanceNorm、GroupNorm、Weight Standardization）及其Pytorch实现
热门推荐
David's Tweet
06-05 1万+
BN，LN，IN，GN从学术化上解释差异：BatchNorm：batch方向做归一化，算NHW的均值，对小batchsize效果不好；BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布LayerNorm：channel方向做归一化，算CHW的均值，主要对RNN作用明显；InstanceNorm：一个channel内做归一化，算H*W的均值，用在风格化迁移；因为在图像风格化中，生成结果主要依赖.
tf.contrib.layers.layer_norm在tensorflow2中的替代
Aberh的博客
02-17 1万+
tf.contrib.layers.layer_norm在tensorflow2中的替代为tf.keras.layers.LayerNormalization（）（'input'）
LayerNormalization 层标椎化、tensorflow代码
炫云云
06-09 717
文章目录原理tensorflow代码 原理 在批处理中独立地对每个训练数据的前一层的激活进行标椎化，而不是像批处理标椎化那样跨批处理。即，应用一种转换，使每个训练数据中的平均激活值保持接近于0，激活标准差保持接近于1。 缩放和中心化使标准化方程如下: 让mini-batch处理的中间激活成为“输入”。对于每个具有kkk特征的输入样本xix_ixi​，我们计算平均值和样本方差: μi=∑jk(xi[j])kσi2=∑jk(xi[j]−μi)2k \mu_{i} =\frac{\sum_j^{k}(x_i[j]
使用tensorflow2.x实现深度信念网络
04-04
深度信念网络（Deep Belief Network，DBN）是一种深度学习模型，由多层受限玻尔兹曼机（Restricted Boltzmann Machines，RBM）组成。在本教程中，我们将使用tensorflow2.x实现深度信念网络。 首先，我们需要导入所需的库： ```python import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers ``` 然后，我们定义一个函数来创建RBM层： ```python def rbm_layer(n_visible, n_hidden, name=None): rbm = layers.Dense(units=n_hidden, activation='sigmoid', kernel_initializer='glorot_uniform', bias_initializer='zeros', name=name) return rbm ``` 这个函数将创建一个密集层，使用sigmoid作为激活函数，使用Xavier初始化方法初始化权重，使用0初始化偏置项。 接下来，我们定义一个类来创建深度信念网络： ```python class DeepBeliefNetwork(keras.Model): def __init__(self, rbm_layers=None, name=None): super(DeepBeliefNetwork, self).__init__(name=name) self.rbm_layers = rbm_layers or [] def call(self, inputs): x = inputs for rbm in self.rbm_layers: x = rbm(x) return x def pretrain(self, x_train, batch_size=32, epochs=1): for rbm in self.rbm_layers: rbm_pretrain = keras.Sequential([rbm]) rbm_pretrain.compile(optimizer=keras.optimizers.Adam(learning_rate=0.01), loss=keras.losses.BinaryCrossentropy()) rbm_pretrain.fit(x_train, x_train, batch_size=batch_size, epochs=epochs) x_train = rbm.predict(x_train) ``` 这个类包含了多个RBM层，可以在调用时逐层传递输入数据。它还有一个pretrain方法，用于无监督预训练每个RBM层。在预训练期间，我们将每个RBM层封装到一个小型的顺序模型中，并使用Adam优化器和二元交叉熵损失函数进行训练。在每个RBM层训练完成后，我们将其应用于输入数据，以便进行下一层的训练。 最后，我们可以使用下面的代码来创建一个深度信念网络： ```python # 创建RBM层 rbm_layer_1 = rbm_layer(n_visible=784, n_hidden=500, name='rbm_layer_1') rbm_layer_2 = rbm_layer(n_visible=500, n_hidden=200, name='rbm_layer_2') rbm_layer_3 = rbm_layer(n_visible=200, n_hidden=50, name='rbm_layer_3') # 创建深度信念网络 dbn = DeepBeliefNetwork([rbm_layer_1, rbm_layer_2, rbm_layer_3], name='dbn') # 数据预处理 (x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data() x_train = x_train.reshape(-1, 784) / 255.0 x_test = x_test.reshape(-1, 784) / 255.0 # 无监督预训练 dbn.pretrain(x_train, batch_size=32, epochs=10) # 监督微调 dbn.compile(optimizer=keras.optimizers.Adam(learning_rate=0.01), loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['accuracy']) dbn.fit(x_train, y_train, batch_size=32, epochs=10, validation_split=0.1) ``` 在上面的代码中，我们创建了3个RBM层，并将它们传递给DeepBeliefNetwork类的构造函数。然后，我们加载MNIST数据集并对其进行预处理。接下来，我们使用预训练方法对深度信念网络进行无监督预训练。最后，我们使用监督微调方法对深度信念网络进行监督学习，并在测试集上进行评估。 这就是使用tensorflow2.x实现深度信念网络的完整过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值