normalization思考

最新推荐文章于 2020-10-07 14:42:40 发布
最新推荐文章于 2020-10-07 14:42:40 发布
阅读量162 收藏
点赞数 1
分类专栏： 日常记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/like_red/article/details/104474522
版权

batch normalization与layer normalization

  • batch normalization是对列进行归一化，在每个特征上进行缩放，为了解决量纲不同的问题（蕴含了大数定律的思想，当样本量足够的时候，样本分布和总体分布一致）；
  • layer normalizaiton是对行进行标准化，使得每行的模为1

【思考】：

1）对于类似于NLP的词向量这种，应该使用LN，因为一个词向量就代表了这个词，并不存在量纲上的影响；而对于一些值为连续型的变量，应该是使用BN来保证这个向量上的量纲一致。

2）BN就是为了用归一化来加速模型收敛速度，但是对于离散变量，embedding就已经达到了归一化的作用！

3）样本量比较少的时候不适合用BN，因为不符合大数定律。

batch normalization与激活函数的顺序

先使用BN，再使用激活函数

like_red
关注
专栏目录
Batch Normalization（BN）在什么时候用比较合适？
Jiashilin
05-08 4837
1.在CNN中， (a).BN作用在非线性映射前，当神经网络收敛速度缓慢时候，或者梯度爆炸无法训练时候可以考虑用BN， (b).一般情况也可以用BN来尝试加快训练速度，提高模型的精度。 2.不适用于动态的网络结构和RNN网络 BN比较适用的场景是：每个mini-batch比较大，数据分布比较接近.在进行训练之前，要做好充分的shuffle，否则效果会差很多 由于BN需要在...
深度学习中的Batch Normalization
Microstrong
04-29 858
关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习，分享我在学习过程中的读书笔记！一起来学习，一起来交流，一起来进步吧！本文同步更新在我的微信公众号中，公众号文章地址：https://mp.weixin.qq.com/s/o_Gwa11BauT60U7S1--3fQ本文同步更新在我的知乎中：深度学习中的Batch Normalization - Microstrong的文...
tensorflow中的batch_norm以及tf.control_dependencies和tf.GraphKeys.UPDATE_OPS的探究
huitailangyz的博客
12-15 2万+
笔者近来在tensorflow中使用batch_norm时，由于事先不熟悉其内部的原理，因此将其错误使用，从而出现了结果与预想不一致的结果。事后对其进行了一定的调查与研究，在此进行一些总结。 一、错误使用及结果 笔者最先使用时只是了解到了在tensorflow中tf.layers.batch_normalization这个函数，就在函数中直接将其使用，该函数中有一个参数为training，在训练阶...
概率论与数理统计学习笔记——大数定律
HiSi_的博客
09-19 767
大数定律大数定律基本思想切比雪夫不等式中心极限定理 大数定律基本思想 切比雪夫不等式 中心极限定理 大数定律基本思想： 样本容量越大，样本估计值就会越来越接近真实值。 切比雪夫不等式： ...
batch norm
Miraclecanbeachieve的博客
04-17 505
BatchNormalzation是一种解决深度神经网络层数太多，而没有办法有效前向传递的问题，因为每层的输出值都会有不同的均值和方差，所以输出数据的分布也不一样。 如果对于输入的X*W本身得到的值通过tanh激活函数已经输出为1，在通过下一层的神经元之后结果并没有什么改变，因为该值已经很大（神经网络过敏感问题） 对于这种情况我们可以首先做一些批处理正则化 　可以看出没有BN的时...
关于batch norm，训练时moving average的收敛性问题
nus_cs的博客
01-03 3277
关于batch norm，训练时moving average的收敛性问题。
再思考Transformer中的Batch Normalization.pdf
03-21
自然语言处理(NLP)中神经网络模型的标准归一化方法是层归一化(LN)。这不同于计算机视觉中广泛采用的批量归一化(BN)。LN在NLP中的优先使用主要是由于经验观察，使用BN会导致NLP任务的性能显著下降;...
Batch Normalization详解
mike112223的博客
08-12 1694
这几天重新看了BN，完成了翻译，也仔细的对里面一些自己感到疑惑的点，进行了查阅和思考，其中有一些个人见解，欢迎大家来讨论。 本文分两个部分，第一部分对BN进行一些基本讲解，第二部分讲其他的一些Normalization方法。 BN 1 问题 首先我们要明白BN想要解决的问题是什么，参考原文我们发现，随着网络越来越深，训练深度网络变得很困难，收敛速度很慢。 1.1 原因 原文告诉我们是因为 Inte...
深度学习中的Normalization模型
张俊林的博客
08-28 1万+
                        /*本文可以随便转载，转载时请注明作者及文章出处*/                                              作者：新浪微博  张俊林    Batch Normalization（简称BN）自从提出之后，因为效果特别好，很快被作为深度学习的标准工具应用在了各种场合。BN大法虽然好，但是也存在一些局限和问题，诸...
Bach Normalization
jasonzzj的博客
12-28 1万+
【文章一】 tensorflow中关于BN（Batch Normalization）的函数主要有两个，分别是： tf.nn.momentstf.nn.batch_normalization 关于这两个函数，官方API中有详细的说明，具体的细节可以点链接查看，关于BN的介绍可以参考这篇论文，我来说说自己的理解。 不得不吐槽一下，tensorflow的官方API很少给例子，太不人性化了
CS231n作业笔记2.4：Batchnorm的实现与使用
silent56_th的博客
01-03 9195
CS231n简介详见 CS231n课程笔记1：Introduction。 本文都是作者自己的思考，正确性未经过验证，欢迎指教。作业笔记Batchnorm的思想简单易懂，实现起来也很轻松，但是却具有很多优良的性质，具体请参考课程笔记。下图简要介绍了一下Batchnorm需要完成的工作以及优点（详情请见CS231n课程笔记5.3：Batch Normalization）： 需要注意的有： 最后
caffe的batchnorm层解析
andeyeluguo的博客
04-26 751
batch norm层batch norm有三组参数打印参数的流程为：>>> import sys>>> sys.path.insert(0,'./python')>>> import caffe>>> net = caffe.Net('./examples/mnist/lenet_train_test.prototxt','...
pytorch方法测试——归一化（BatchNorm2d）
热门推荐
tmk_01的博客
06-13 3万+
测试代码：import torch import torch.nn as nn m = nn.BatchNorm2d(2,affine=True) #权重w和偏重将被使用 input = torch.randn(1,2,3,4) output = m(input) print("输入图片：") print(input) print("归一化权重：") print(m.weight) print...
大数定律思考
09-30 597
大数定律，一般包含几类，分别为：切比雪夫大数定律、贝努利（Bernoulli）大数定律和辛钦（Kinchin）大数定律 其中，切比雪夫大数定律定义如下： 可见，大数定律，实际上表明的是在大量实验下，事物发生的概率越接近于期望值。 比如，最著名的大数定律的应用就是抛硬币实验。当你仅抛十次硬币时，硬币的朝向很可能出现大部分朝上或者朝下的情况，但是，如果你抛硬币的次数达到一万次时，硬币每...
你真的了解大数定律吗？（详细解读机器学习中的大数定律）
LEEANG121的博客
08-12 2万+
机器学习中的大数定律到底在弄啥嘞前言大数定律生活中的预言家们小数定律的骗局大数定律的含义中心极限定理概率故事-捉羊问题 前言 大数定律也是伯努利定律，是历史上第一个极限定律。所谓大数定律的关键在于数量要大，当随机试验大量的重复进行时，通常会呈现某些几乎是必然会发生的现象，这就是所谓的大数定律。而现实生活中往往很多人却被小数定律所误导，产生了各种各种的迷信思想。本章将就何为大数定律以及生活中的小数定律误导人们的现象做一个简单的阐述，本章主要内容如下： l 大数定律的概念及生活中有哪些‘小数’定律 l 中心
Batch Norm （针对面试问题总结）
bl128ve900的博客
07-10 4175
参考： 基础 | batchnorm原理及代码详解https://blog.csdn.net/qq_25737169/article/details/79048516 详解机器学习中的梯度消失、爆炸原因及其解决方法https://blog.csdn.net/qq_25737169/article/details/78847691 Pytorch Batch Normalizatin la...
maskrcnn_benchmark理解记录——关于batch norm、relu、dropout 的相对顺序以及dropout可不可用
m0_37644085的博客
04-11 3657
ps： 1.如何在卷积神经网络中实现全局平均池化。在此之前，建议阅读ResNet这篇论文，以了解全局平均池化操作的好处。代替全连接层。 2.dropout只可能在box分支的两个全连接层那里，这个可以后期finetuning下。全连接网络可以使feature map的维度减少，进而输入到softmax，但是又会造成过拟合，可以用pooling来代替全连接。那就解决了之前的问题：要不要在f...
一文看懂BN(batch norm)
会飞的猪的博客
05-29 3377
https://www.cnblogs.com/guoyaohua/p/8724433.html
如何区分并记住常见的几种 Normalization 算法
北国觅梦
10-07 1549
神经网络中有各种归一化算法：Batch Normalization (BN)、Layer Normalization (LN)、Instance Normalization (IN)、Group Normalization (GN)。从公式看它们都差不多，如 (1) 所示：无非是减去均值，除以标准差，再施以线性映射。 Batch Normalization (BN) # coding=utf8 import torch from torch import nn # track_r...
Normalization
最新发布
05-29
Normalization是一种数据预处理技术，它的目的是将数据转换为一定范围内的标准值，以便更好地进行比较和分析。常见的几种Normalization方法包括： 1. 最大最小值归一化（Min-Max Normalization）：将数据缩放到[0,1...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值