Tensorflow 合并conv层和bn层

最新推荐文章于 2022-05-20 11:39:45 发布
最新推荐文章于 2022-05-20 11:39:45 发布
阅读量1.4k 收藏 3
点赞数 1
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45154016/article/details/103811223
版权

tensorflow合并conv层和bn层，可以提高前向预测速度10-30%，按理说精度应该完全一样（实际会有很小的偏差，不知道是不是还有哪里操作错误）。
conv层和bn层合并网上很多推导教程，这里直接放结论：
bn层一般有4个参数
beta（offset偏移）、gamma（scale缩放）、moving_mean（mean均值）、moving_variance（variance方差）

alpha = gamma/(moving_variance+epsilon)^1/2
Wnew = Wold * alpha
Bnew =Bold alpha +beta - moving_meanalpha

tensorflow这里面有一个坑，就是alpha，下面本来是除标准差，但是由于防止除零错误，应该加了一个epsilon极小值，但tensorflow中tf.layers.batch_normalization和tf.nn…batch_normalization的epsilon默认值都为1e-3，我训练网络中有很多参数都是1e-3级别的，甚至小于1e-3，有很大影响，所以在合并的时候，也要和训练的时候用一样的epsilon值，我理解就当训练的一部分吧。。。

9573号搬运工
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
【TensorFlow深度学习】Batch Normalization层的作用与实施
yuzhangfeng的博客
05-30 592
Batch Normalization层作为深度学习中的一项关键技术，通过标准化输入数据分布，不仅解决了训练过程中的内在变化问题，而且加速了模型的收敛速度，提升了泛化能力。其在TensorFlow 2.0的实现简单直观展现了BN层的便利性，为构建复杂模型提供了坚实基础。掌握BN层，无疑是深度学习旅程中不可或缺的一环，为你的模型性能护航。
基于Tensorflow实现BN（Batch Normalization）的代码，供大家参考！！
03-24
基于Tensorflow实现BN（Batch Normalization）的代码，供大家参考！！
卷积层和BN层融合
weixin_38740463的博客
09-25 2162
则有： 则有合并基础：
pytorch实现卷积层和BN层融合
dagouxiaohui的博客
05-20 2423
批归一化 数据的规范化也即(x−mean(x)/var(x))(x-mean(x)/var(x))(x−mean(x)/var(x)) 可以将数据的不同特征规范到均值为0，方差相同的标准正态分布,这就可以避免大数造成得数据溢出。可以使网络以更高得学习率更快得收敛。 但是随着网络深度得增加，数据得分布会逐渐偏离标准正态分布，由于梯度得反向传播是不同层得梯度不断相乘得结果，数据过小或过大容易造成梯度消失或梯度爆炸。 为了解决上述问题，提出了对网络层得中间输出进行规范化得方法，也就是批规范化（Batch Nor
关于通过Sequential容器创建LeNet-5
Keep_Trying_Go的博客
05-12 280
import tensorflow as tf import numpy as np import matplotlib.pyplot as plt from tensorflow.keras import Sequential,losses,optimizers,layers,datasets lr=0.01 batchsz=512 network=Sequential([#网络容器 layers.Conv2D(6,kernel_size=3,strides=1),#第1个卷积层，6个3*3卷积
TensorFlow学习笔记——（9）卷积神经网络
屿十_
08-16 258
文章目录一、概念二、卷积神经网络 网络的主要模块三、引入Cifar10数据集四、卷积神经网络搭建示例1、构思2、完整代码 一、概念 借助卷积核，对输入特征进行特征提取，再把提取到的特征送入全连接网络，进行识别预测。 卷积就是特征提取器，就是CBAPD。 C：卷积层 B：BN层 A：激活层 P：池化层 D：dropout层 二、卷积神经网络 网络的主要模块 三、引入Cifar10数据集 导入Cifar10数据集： 四、卷积神经网络搭建示例 1、构思 搭建一个1层卷积，2层全连接的网络。 首先经过1层
Reinforcement Learning with Tensorflow(conv)
07-08
All rights reserved. No part of this book may be reproduced, stored in a retrieval system, or transmitted in any form or by any means, without the prior written permission of the publisher, except in ...
tensorflow之自定义神经网络层实例
12-20
在 TensorFlow 中，层对象拥有多个方法，如 `variables`，用于访问层内部的所有变量，包括权重和偏置。例如，对于 Dense 层，`layer.variables` 将返回权重矩阵和偏置向量。 要自定义神经网络层，你需要扩展 `tf....
TensorFlow实现打印每一层的输出
12-23
constant_graph = graph_util.convert_variables_to_constants(sess, sess.graph_def,['net_loss/inference/encode/conv_output/conv_output']) with tf.gfile.FastGFile('net_model.pb', mode='wb') as f: ...
merge_bn 合并bn层到conv或FC层原理介绍及代码实现
qq1145520074的专栏
01-24 7376
参考文献：http://blog.csdn.net/diye2008/article/details/78492181 1.ｂｎ合并的必要性： 　　　bn层即batch-norm层，一般是深度学习中用于加速训练速度和一种方法，一般放置在卷积层（conv层）或者全连接层之后，将数据归一化并加速了训练拟合速度。但是ｂｎ层虽然在深度学习模型训练时起到了一定的积极作用，但是在预测时因为
BN层和CONV层合并
B1009的博客
09-18 3575
卷积层中 卷积权重： W，卷积偏置：B 卷积层运算： BN 层中 均值： ，方差：，缩放因子：，偏移：， 一个较小数（防止分母为0）：                       BN层和卷积层合并后：  ...
深度学习之卷积神经网络CNN及tensorflow实例
12-03
参阅：https://blog.csdn.net/cxmscb/article/details/71023576
BatchNorm layer设定
山里娃娃哈
04-25 4670
BN层的设定一般是按照conv->bn->scale->relu的顺序来形成一个block。 关于bn，有一个注意点，caffe实现中的use_global_stats参数在训练时设置为false，测试时设置为true。 因为在训练时bn作用的对象是一个batch_size，而不是整个训练集，如果没有将其设置为false，则有可能造成bn后数据更加偏离中心点，导致nan或87.3365的问题。c
batch_normalization (bn)层以及实际使用中合并bn层
qq_38469553的博客
11-15 731
参考： bn层原理： https://blog.csdn.net/qq_25737169/article/details/79048516 https://blog.csdn.net/hjimce/article/details/50866313 合并bn层： https://blog.csdn.net/kangdi7547/article/details/81348254 ...
全连接层后面加bn层_卷积层和BN层融合
weixin_39789646的博客
12-22 848
常规的神经网络连接结构如下当网络训练完成, 在推导的时候为了加速运算, 通常将卷积层和 batch-norm 层融合, 原理如下\[ \begin{align*} y_{conv} &= w \cdot x + b \\ y_{bn} &= \gamma \cdot \left (\frac{y_{conv} – E[x]}{\sqrt{Var[x] + \epsilon}} \...
Tensorflow 合并通道及加载子模型
pl_Dong的博客
08-26 6206
（1）将两个子模型的输出合并到一个通道 （2）加载预训练模型部分参数
图优化之convolution 与 batchnorm 合并
06-27 437
https://blog.csdn.net/B1009/article/details/82756721 感谢上述 假设在卷积层有如下参数： 卷积权重： W， 卷积偏置： B 卷积层计算： W . X + B 假设在BN层有如下参数： 均值： mul； 方差：delta； 缩放因子：gama； 偏移：beta；一个较小的数（防止分母为0）：epsilon ...
TensorFlow2.0 CNN,深度可分离卷积，keras_generator，resnet50迁移学习，BN层(cifar)（chapter06）
time
03-03 1214
import matplotlib as mpl import matplotlib.pyplot as plt %matplotlib inline import numpy as np import pandas as pd import os import sys import time import sklearn from tensorflow import keras import ...
合并bn层到conv或FC层原理介绍及代码实现
m0_37192554的博客
12-17 2401
原 合并bn层到conv或FC层原理介绍及代码实现 2017年11月09日 17:38:27 crazy-ye 阅读数：5932更多 <div class="tags-box space"> <span c...
python tensorflow invertible conv
最新发布
05-24
Invertible convolutional neural networks are a type of neural network architecture that allows for reversible mapping between input and output. This means that the network can be trained on a particular task, and then used in both forward and backward directions to generate outputs from inputs and inputs from outputs. TensorFlow is a popular deep learning framework that provides support for building and training neural networks, including invertible convolutions. To build an invertible convolutional layer in TensorFlow, you can use the `tf.keras.layers.Conv2D` layer with the `padding='same'` argument. This ensures that the output feature map has the same shape as the input feature map. To make the convolutional layer invertible, you need to ensure that the weights of the layer are also invertible. One way to do this is to use the LU decomposition of the convolutional kernel. This can be implemented using the `tf.linalg.lu` function to decompose the kernel into lower and upper triangular matrices. Once you have the LU decomposition of the kernel, you can use it to compute the inverse of the kernel. This can be done using matrix inversion and multiplication operations in TensorFlow. Overall, building an invertible convolutional neural network in TensorFlow involves using the `tf.keras.layers.Conv2D` layer with padding, computing the LU decomposition of the kernel, and using it to compute the inverse of the kernel.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值