BN和LN

最新推荐文章于 2024-09-07 07:24:07 发布
最新推荐文章于 2024-09-07 07:24:07 发布
阅读量153 收藏
点赞数
分类专栏： CV笔记 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xx_xjm/article/details/124189661
版权
本文详细解释了批量归一化(Batch Normalization, BN)和层归一化(Layer Normalization, LN)的概念。BN主要对同一批次的不同样本在同一通道上进行标准化，而LN则针对单个样本的所有通道进行标准化。BN有助于训练过程的稳定性和加速，而LN更适用于循环神经网络。理解这两种技术对于优化深度学习模型的性能至关重要。
摘要由CSDN通过智能技术生成

1：BN，对于一个batch中的样本，取不同样本同一通道的数据进行标准化。理解下图，N表示batch大小为N（也就是说这个batch包含N个样本，样本也可以理解为图片），C表示每个样本的通道数，比如常用的一张图片有RGB三个通道，H*W就是样本的大小，也就是图片的高和宽，图中可以理解为将图片flatten了。所以，如图，BN就是对同一batch下不同样本，同一通道做标准化

图和内容均参考自：深入理解Batch Normalization原理与作用 | 电子创新网 Imgtec 社区 (eetrend.com)

2：LN，理解了BN，那么LN就好理解多了，就是对同一个图的不同通道做标准化，再简单点说，就是对一张图做标准化：

可以按照上面所说，参考图自行理解

图来自：(2条消息) 层标准化详解（Layer Normalization）_十里清风的博客-CSDN博客_layer normalization 

xx_xjm
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Batch Normalization详解以及BN和LN的区别
qq_38375203的博客
06-09 1146
最近要找工作，也是复习一下面经。之前经常看过的BN也是面试中的重中之重，记得当时面试华为诺亚方舟实验室的时候，面试官就问到了我BN和LN的区别，当时也仅仅是将这两者的区别说出来了，但是并没有进行扩展，现在想想也是有点后悔的（其实当时自己也不知道该扩展啥）。在今天也就做一下总结，来概括一下这两者的区别以及BN的动机原理。在机器学习领域有个非常重要的假设样本之间的独立同分布，也就是训练数据和测试数据假设是满足相同分布，这样我们通过训练数据训练模型才能够在测试数据上获得较好的效果(这个独立同分布是一个前提)。 然
BN和 LN
tangweirensheng的博客
10-13 249
[batch_size, length, feature] BN不同length，对同一 batch_size和 feature的归一化 ,即 [batch_size, 1, feature]做归一化,会有length个输出 LN，不同batch_size ，对同一个lengh和feature的归一化，即[ 1, lenght, feature]做归一化，共有 batch_size个输出，所以不受 batch_size的影响 对于一个batch为32的神经网络训练，会有32个均值和...
BN和LN理解
qq_42316533的博客
05-23 2058
BN 针对一个batch_size中同一维度的样本在做处理。比如上图，有x1,x2,…,xR个样本，这些样本的第一个维度描述的是体重，第二个维度描述的身高，BN在所有样本的的每一个特征（比如体重维度、身高维度）上进行归一化， BN的优点：第一个优点可以解决内部协变量偏移，第二个优点就是缓解了梯度饱和问题（如果使用sigmoid函数的话），加快收敛。 BN的缺点：第一个缺点batch_size较小的时候，效果很差，因为BN就是用batch_size中样本的均值和方差去模拟全部样本的均值和方差，这个假设在样本
BN和LN的应用场景和特点
WitsMakeMen的专栏
07-09 628
BN 和 LN 都可以比较好的抑制梯度消失和梯度爆炸的情况。BN不适合RNN、transformer等序列网络，不适合文本长度不定和​​batchsize​​较小的情况，适合于CV中的CNN等网络；而LN适合用于NLP中的RNN、transformer等网络，因为sequence的长度可能是不一致的。栗子：如果把一批文本组成一个batch，BN就是对每句话的第一个词进行操作，BN针对每个位置进行缩放就不符合NLP的规律了。
BN与LN的区别
进击的扛把子
04-25 1万+
BN与LN的区别 主要区别在于 normalization的方向不同！ Batch 顾名思义是对一个batch进行操作。假设我们有 10行 3列 的数据，即我们的batchsize = 10，每一行数据有三个特征，假设这三个特征是【身高、体重、年龄】。那么BN是针对每一列（特征）进行缩放，例如算出【身高】的均值与方差，再对身高这一列的10个数据进行缩放。体重和年龄同理。这是一种“列缩放”。 而layer方向相反，它针对的是每一行进行缩放。即只看一笔数据，算出这笔所有特征的均值与方差再缩放。这是一种“行缩放”
BN和LN原理及Pytorch实现
dbdxwyl的博客
03-01 1217
一.概念 Batch Normalization（批标准化） 对一个batch内的所有样本的同一通道的元素进行标准化 Layer Normalization（批标准化） 对一个样本内所有通道的元素进行标准化 Instance Normalization（实例标准化） 对一个样本内对每个通道的元素分别进行标准化 Group Normalization（组标准化） 对一个样本内对几个通道的元素分别进行标准化 二.Pytorch实现 nn.BatchNorm2d(num_features)
（十二）BN和LN
Miracle_520的博客
04-11 4939
文章目录一、基于规则的方法二、基于监督学习的方法三、Bootstrap算法四、Snowball 一、基于规则的方法 优点： 比较准确 不需要训练数据 缺点： low recall rate，（覆盖问题），覆盖范围小，很多规则人想不到 成本（人力） 规则本身难以设计（规则不冲突，规则不冗余） 二、基于监督学习的方法 定义关系类型 定义实体类型 训练数据准确 实体标记好（类型） ...
聊聊深度学习中的BN和LN
init__的博客
10-01 1309
在一个深度神经网络中，每一层的神经网络参数发生变化会影响其上层的输入数据分布，又因为DP的网络深度较大，这样层层叠加，导致高层的输入分布变化较大，使得高层的参数需要不断的去适应底层的参数更新。导致神经网络难以训练。 这听起来很糟糕，那么有什么方案去解决这个问题呢？ 我们可以为每一层都设立不同的学习率、不同的初始化策略等，去解决这个问题。但是这样的解决方案非常麻烦，而且需要很多人为的经验。而Normalization能够较好的解决该问题，且不需要为每一层单独设置学习率等。 什么是Normalization 上
归一化总结：BN和LN的差别
weixin_44543648的博客
05-17 2429
参考链接：https://blog.csdn.net/qq_37541097/article/details/117653177 https://blog.csdn.net/Strive_For_Future/article/details/115220627 为什么要归一化： 在机器学习和深度学习中，有一个共识：独立同分布的数据可以简化模型的训练以及提升模型的预测能力——这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。也就是说我们在使用机器学习和深度学习的时候，会把数据尽可能的做一个独立
四图秒懂BN、LN和IN
weixin_42078618的博客
06-01 8000
DL常见的三大网络类型，CNN、RNN和GAN，CNN用于CV领域较多，RNN则用于NLP方向较多，GAN就比较特殊，娱乐向的CV。而其中，最常用、最高效的三个技术点就是BN、LN和IN了，他们是三种网络的典型代表作。 1、BN（BatchNormalization） 看图说话。 我们假设有一批图像的feature maps传入网络中（如上）。其中，N表示batch_size，9*...
超细节的 BatchNorm/BN/LayerNorm/LN 知识点
海晨威
05-29 795
1、BN在训练和测试时的差异 2、BN中的移动平均 Moving Average是怎么做的 3、移动平均中 Momentum 参数的影响 4、Norm中的标准化、平移和缩放的作用 5、不同Norm方法中都有哪些参数要保存 6、BN和LN 有哪些差异 7、为什么BERT使用LN，而不使用BN 8、如何去理解在哪一个维度做Norm
BN、LN、IN、GN的异同
热门推荐
hao1994121的博客
12-21 1万+
  从左到右依次是BN，LN，IN，GN   众所周知，深度网络中的数据维度一般是[N, C, H, W]或者[N, H, W，C]格式，N是batch size，H/W是feature的高/宽，C是feature的channel，压缩H/W至一个维度，其三维的表示如上图，假设单个方格的长度是1，那么其表示的是[6, 6，*, * ]   上图形象的表示了四种norm的工作方式： ...
深度学习中的归一化方法简介（BN、LN、IN、GN）
firehuiplane的博客
05-31 2652
文章目录1. 协方差偏移 1. 协方差偏移 协方差偏移： 深度网络内部数据分布在训练过程中发生变化的现象。 协方差偏移的影响： 训练深度网络的时候，神经网络隐藏层参数更新会导致网络输出层输出数据的分布发生变化，如果不做归一化，那么每层网络输入的数据分布都是不同的。随着层数的增加，根据链式法则，这种偏移现象会逐渐被放大。这对于网络参数的学习来说是一个问题，因为神经网络本质就是学习数据分布，如果数据分布变化了，神经网络不得不学习新的分布。为了保证网络参数的稳定性和收敛性，往往会选择比较小的学习率，同时参数初始化
基于深度学习的结构优化与生成
最新发布
weixin_42605076的博客
09-07 1183
基于深度学习的结构优化与生成技术通过自动生成和优化结构设计，为工程和工业应用带来了巨大的潜力。随着算法的不断改进和计算资源的增加，深度学习有望在未来推动结构设计的革命性变化，带来更高效、更创新的设计流程。
基于BiLSTM-CRF的医学命名实体识别研究（下）模型构建
s44359487yad的博客
09-05 1477
写到这里，这篇文章就介绍结束了，希望对您有所帮助。文章虽然很冗余，但还是能学到知识，尤其是数据预处理和BiLSTM构建知识，后续随着作者深入，会分享更简洁的命名实体识别代码，继续加油~
卷积神经网络与小型全连接网络在MNIST数据集上的对比
jokerMingge的博客
09-05 1302
通过基本相同参数量的卷积神经网络和小型全连接网络，在MNIST进行对比学习，其中包括详细参数计算。
深度学习的发展历程
木亦汐丫
09-04 1197
深度学习起源和发展，机器学习中，我们经常使用两种方式来表示特征：局部表示和分布式表示；深度学习是将原始的数据特征通过多步的特征转换得到一种特征表示，并进一步输入到预测函数得到最终结果。深度学习以神经网络为主要模型，一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力，其后深度学习越来越多地用来解决一些通用人工智能问题，比如推理、决策等，广泛应用于车牌识别、人脸识别、语音识别、智能助手、推荐系统、自动驾驶等重大领域。
深度学习从入门到精通——感知损失介绍及基本实现
swpucwf的博客
09-04 5003
Perceptual Losses感知损失 感知损失 图像转换问题（image transformation tasks），输入一副图像转换成另一幅图像输出。现有方法来解决的图像转换问题，往往以监督训练的方式，训练一个前向传播的网络，利用的就是图像像素级之间的误差。这种方法在测试的时候非常有效，因为仅仅需要一次前向传播即可。但是，像素级的误差没有捕获输出和ground-truth图像之间的感知区别（perceptual differences）。 高质量的图像可以通过定义和优化perceptual loss
BN LN transformer
07-28
BN-LN Transformer 是一种改进的 Transformer 模型，它在原始的 Transformer 模型基础上引入了 Batch Normalization (BN) 和 Layer Normalization (LN) 技术。 Batch Normalization 是一种用于加速深度神经网络训练...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值