tf卷积层外加BN实现

最新推荐文章于 2022-02-05 12:54:00 发布
最新推荐文章于 2022-02-05 12:54:00 发布
阅读量1.4k 收藏 2
点赞数 1
分类专栏： Python 深度学习 Tensorflow学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Touch_Dream/article/details/79307096
版权 
def conv_layer(inpt, filter_shape, stride):
    out_channels = filter_shape[3]

    filter_ = weight_variable(filter_shape)
    conv = tf.nn.conv2d(inpt, filter=filter_, strides=[1, stride, stride, 1], padding="SAME")
    mean, var = tf.nn.moments(conv, axes=[0,1,2])#计算一阶矩（均值），以及二阶矩（方差）
    beta = tf.Variable(tf.zeros([out_channels]), name="beta")
    gamma = weight_variable([out_channels], name="gamma")
    
    batch_norm = tf.nn.batch_norm_with_global_normalization(
        conv, mean, var, beta, gamma, 0.001,
        scale_after_normalization=True)

    out = tf.nn.relu(batch_norm)

    return out
老司机的诗和远方
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tf-deformable-conv-layer:可变形卷积层的TensorFlow实现
05-06
可变形卷积的TensorFlow实现 这是以下论文的TensorFlow实现： 戴继峰，齐浩志，熊玉文，李毅，张国栋，韩寒，魏一辰。 2017。可变形卷积网络。 arXiv [cs.CV]。 arXiv。 该代码只能在。 旋转训练图 采样地点 ...
bn层学习笔记 卷积层和BN层融合
jacke121的专栏
05-20 6715
1. 为什么要合并BN层 在训练深度网络模型时，BN（Batch Normalization）层能够加速网络收敛，并且能够控制过拟合，一般放在卷积层之后。BN 层将数据归一化后，能够有效解决梯度消失与梯度爆炸问题。虽然 BN 层在训练时起到了积极作用，然而，在网络前向推断时多了一些层的运算，影响了模型的性能，且占用了更多的内存或者显存空间。目前，很多先进的网络模型（ResNet，MobileNet，Xception，ShuffleNet 等）都使用了BN技术，因此，我们有必要将 BN 层的参数合并到卷积.
卷积层与BN层的融合方式
AI数据工厂
01-19 6604
CNN和BN层的融合方式介绍
merge_bn 合并bn层到conv或FC层原理介绍及代码实现
qq1145520074的专栏
01-24 7383
参考文献：http://blog.csdn.net/diye2008/article/details/78492181 1.ｂｎ合并的必要性： 　　　bn层即batch-norm层，一般是深度学习中用于加速训练速度和一种方法，一般放置在卷积层（conv层）或者全连接层之后，将数据归一化并加速了训练拟合速度。但是ｂｎ层虽然在深度学习模型训练时起到了一定的积极作用，但是在预测时因为
Caffe中BN层与CONV层的融合（merge_bn）
zym19941119的博客
11-29 5105
半年前写的博客，今天发现没有发出去，还好本地有md的文档，决定重新发一下 毕竟网上来回抄袭的blog太多了，代码质量也莫得保证 原理 BN层的融合即为将caffe中BN层与Scale层融合进Convolution的权重之中，把三层减少为一层，适用于训练完成的模型部署阶段，而不能用在训练中。 融合BN与卷积要求BN层位于卷积之后，且融合后的卷积层参数convolution_param中的bias_t...
Tensorflow中BN层的使用
05-09 8306
使用tf.layers.batch_normalization()需要三步： 在卷积层将激活函数设置为None。 使用batch_normalization。 使用激活函数激活。 需要特别注意的是：在训练时，需要将第二个参数training = True。在测试时，将training = False。 同时，在降低loss时候时候： update_ops = tf.get_collectio...
TF_IDF算法的python实现
12-07
基于NLTK工具包，批次读取目录下面的文本数据，利用python实现了TF_IDF算法。其中，可以自行输入目录文件的绝对路径以及请输入你想显示词频的前top数量。
python实现TF-IDF算法解析
09-20
在Python中实现TF-IDF算法，可以借助`sklearn`库中的`TfidfVectorizer`或`TfidfTransformer`。 首先，我们需要准备语料库，这是TF-IDF计算的基础。在这个例子中，语料库是2015年1月16日至18日《人民日报》发布的...
TF-IDF理解及其Java实现代码实例
08-28
TF-IDF理解及其Java实现代码实例 TF-IDF（Term Frequency-Inverse Document Frequency）是一种常用的加权技术，在资讯检索和资讯探勘领域中具有非常重要的地位。TF-IDF的主要思想是：如果某个词或短语在一篇文章中...
使用Tensorflow实现可视化中间层和卷积层
01-20
为了查看网络训练的效果或者便于调参、更改结构等，我们常常将训练网络过程中的loss、accurcy等参数。 除此之外，有时我们也想要...x = tf.placeholder(tf.float32, [None, 784]) x_image = tf.reshape(x, [-1,28,28,1
卷积神经网络中的bn层应用
09-20
主要为卷积神经网络中的bn层应用，bn层也是一个数据处理的方式，一般位于非线性激活层之前，全连接层之后，本资源涵盖4个代码，分别为bn层建立，cn层在实例中的应用，bn层测试以及有无bn层的对比，供大家更好地了解bn层的作用 本资源为分类实例代码，读者可以更好地通过代码了解bn层
BN层的添加实战
Airuio的博客
11-14 7078
对于一个小白，从了解Batch Normalization（后面简称BN）到正确使用BN,可谓路漫漫兮。在此做一个记录。 网上搜索关于BN最多的就是原理推导，相关论文出处。 例如： http://blog.csdn.net/Fate_fjh/article/details/53375881 https://www.jianshu.com/p/0312e04e4e83 但是这个并不能帮助我...
卷积的in_channel与out_channel
qq_51533157的博客
02-05 1万+
也就是说不管卷积核深度是多少（卷积核的深度和要被卷积的原始神经元的深度要一样），而卷积会合并卷积深度为1，我想这才是很多人疑惑的地方，其他的没什么好疑惑的。例如输入的是一张RGB的图片，可以这样来表示（512×512×3），512×512代表图片的大小（512*512个像素点），而RGB图像的深度有三层。（而卷积核的深度与输入的深度一样（为了每一层对应计算嘛），因此卷积核的输入通道往往省略不写）。在我们平时看的网络结构当中，由于卷积核的深度往往与输入的深度相同，因此往往会省略。卷积核的个数=输出通道。
BN(Batch Normalization) 的理论理解以及在tf.keras中的实际应用和总结
BIT_Legend的博客
12-19 2336
1. BN层的概念，其与LN、IN、GN的异同 BN层于2015年由谷歌提出，可以有效的提升网络训练效率。BN层可以加快收敛速度，可以缓解梯度消失，具有一定的正则化作用。BN层本质上使损失函数变得平滑，所以收敛速度变快且不易落入局部最优值【1】【2】。BN层针对全链接网络结构是计算前面输出层在一个batch内每一个节点的均值和方差，然后针对每一个节点分别减去对应均值和除以对应方差，然后针对每一个节点再进行一次线性变换(即先乘以一个参数再加上一个参数)，所以每一个节点具有4个参数；针对CNN网络结构，为了缩
合并BN层到卷积层的原理及实验
小麦草的博客
08-01 1万+
1. 为什么要合并BN层 在训练深度网络模型时，BN（Batch Normalization）层能够加速网络收敛，并且能够控制过拟合，一般放在卷积层之后。BN 层将数据归一化后，能够有效解决梯度消失与梯度爆炸问题。虽然 BN 层在训练时起到了积极作用，然而，在网络前向推断时多了一些层的运算，影响了模型的性能，且占用了更多的内存或者显存空间。目前，很多先进的网络模型（ResNet，MobileN...
学习笔记4-卷积操作（附相关代码）、channels含义（ in_channels、卷积channels、out_channels ）
LZL2020LZL的博客
10-18 5246
** torch.nn模块包含torch已经准备好的卷积层、池化层、激活函数层、循环层、全连接层。 ** 本文将分别展开进行阐述：卷积层、池化层、激活函数层、循环层、全连接层。 1.卷积层 二维卷积运算过程示意图如下图所示： 相信大家和我一样可能道理我们都懂但是一遇到代码就蒙圈，那我们接下来就来看看如何使用torch.nn模块进行卷积操作。 首先附上一张常用卷积操作对应类的命名 #承接上图以2x2卷积操作为例，其调用方式为： torch.nn.conv2d(in_channels=3, #(整数）输入图
CNN层调参经验与Drop层、BN层的使用经验
家有代码初写成 的博客
04-06 4478
转载地址：https://www.cnblogs.com/bonelee/p/8534560.html https://blog.csdn.net/sean2100/article/details/83834565 两篇文章主要给了两个结论： 结论一：CNN 文本分类模型优化经验——关键点：加卷积层和FC可以提高精度，在FC前加BN可以加快收敛，有时候可以提高精度，FC后加...
【CNN】理解卷积神经网络中的通道 channel
热门推荐
scxyz的博客
04-04 13万+
在深度学习的算法学习中，都会提到 channels 这个概念。在一般的深度学习框架的 conv2d 中，如 tensorflow 、mxnet ，channels 都是必填的一个参数。 channels 该如何理解？先看一看不同框架中的解释文档。 首先，是 tensorflow 中给出的，对于输入样本中 channels 的含义。一般的RGB图片，channels 数量是 3 （红、绿、蓝）...
BN层和CONV层合并
B1009的博客
09-18 3583
卷积层中 卷积权重： W，卷积偏置：B 卷积层运算： BN 层中 均值： ，方差：，缩放因子：，偏移：， 一个较小数（防止分母为0）：                       BN层和卷积层合并后：  ...
refinet网络将卷积层中的conv6-1以及conv6-2等相关联层删除，然后对conv4-3以及coonv5-3卷积层进行bn归一化处理代码
最新发布
05-25
这里是一个使用TensorFlow实现的refinet网络的代码示例，包括了对conv4-3和conv5-3卷积层的BN归一化处理。 ```python import tensorflow as tf def conv_bn_relu(inputs, filters, kernel_size, strides, padding, training): x = tf.layers.conv2d(inputs=inputs, filters=filters, kernel_size=kernel_size, strides=strides, padding=padding) x = tf.layers.batch_normalization(x, training=training) x = tf.nn.relu(x) return x def refinet(inputs, training): # Conv1 x = conv_bn_relu(inputs, filters=64, kernel_size=3, strides=1, padding='same', training=training) x = conv_bn_relu(x, filters=64, kernel_size=3, strides=1, padding='same', training=training) x = tf.layers.max_pooling2d(x, pool_size=2, strides=2, padding='same') # Conv2 x = conv_bn_relu(x, filters=128, kernel_size=3, strides=1, padding='same', training=training) x = conv_bn_relu(x, filters=128, kernel_size=3, strides=1, padding='same', training=training) x = tf.layers.max_pooling2d(x, pool_size=2, strides=2, padding='same') # Conv3 x = conv_bn_relu(x, filters=256, kernel_size=3, strides=1, padding='same', training=training) x = conv_bn_relu(x, filters=256, kernel_size=3, strides=1, padding='same', training=training) x = conv_bn_relu(x, filters=256, kernel_size=3, strides=1, padding='same', training=training) x = tf.layers.max_pooling2d(x, pool_size=2, strides=2, padding='same') # Conv4 x = conv_bn_relu(x, filters=512, kernel_size=3, strides=1, padding='same', training=training) x = conv_bn_relu(x, filters=512, kernel_size=3, strides=1, padding='same', training=training) conv4_3 = conv_bn_relu(x, filters=512, kernel_size=3, strides=1, padding='same', training=training) # Conv5 x = tf.layers.max_pooling2d(conv4_3, pool_size=2, strides=2, padding='same') x = conv_bn_relu(x, filters=512, kernel_size=3, strides=1, padding='same', training=training) x = conv_bn_relu(x, filters=512, kernel_size=3, strides=1, padding='same', training=training) conv5_3 = conv_bn_relu(x, filters=512, kernel_size=3, strides=1, padding='same', training=training) # Conv6 x = tf.layers.max_pooling2d(conv5_3, pool_size=2, strides=2, padding='same') x = conv_bn_relu(x, filters=1024, kernel_size=3, strides=1, padding='same', training=training) x = conv_bn_relu(x, filters=1024, kernel_size=3, strides=1, padding='same', training=training) x = conv_bn_relu(x, filters=1024, kernel_size=3, strides=1, padding='same', training=training) # Conv7 conv6_1 = tf.layers.conv2d(inputs=x, filters=256, kernel_size=1, strides=1, padding='same') conv6_1_bn = tf.layers.batch_normalization(conv6_1, training=training) conv6_1_relu = tf.nn.relu(conv6_1_bn) conv6_2 = tf.layers.conv2d(inputs=x, filters=512, kernel_size=3, strides=2, padding='same') conv6_2_bn = tf.layers.batch_normalization(conv6_2, training=training) conv6_2_relu = tf.nn.relu(conv6_2_bn) return conv4_3, conv5_3, conv6_1_relu, conv6_2_relu ``` 在上面的代码中，`conv_bn_relu`函数是一个便捷的函数，用于定义一个卷积层、Batch Normalization层和ReLU激活函数的组合。`refinet`函数是整个RefineNet的主要实现，其中包括了对Conv4-3和Conv5-3卷积层的BN归一化处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值