NLP高频面试题（四）——BN和LN的区别与联系，为什么attention要用LN

于 2025-03-18 23:45:57 发布
阅读量897 收藏 12
点赞数 24
分类专栏： NLP/大模型八股 文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41667743/article/details/146355679
版权

在深度学习模型中，Normalization是一种极为重要的技巧，Batch Normalization（BN）和Layer Normalization（LN）是其中最为常用的两种方法。然而，二者在实际应用中有着明显的区别与联系，尤其在Transformer的Attention机制中，LN有着独特的优势。

一、BN与LN的核心区别与联系

1. Batch Normalization (BN)

BN的思想源于一个叫Internal Covariate Shift（ICS）的概念，即在训练过程中，每个mini-batch的数据分布都会发生变化，导致训练变得困难。

BN的做法是在每个batch中，沿着特征通道对所有样本计算均值和方差，使数据强制保持均值为0、方差为1的分布。这有效地缓解了梯度消失的问题，加速了模型的训练过程。

BN计算公式为：

y =

了解本专栏 订阅专栏 解锁全文 超级会员免费看
2025秋招LLM大模型多模态面试题（四）- 注意力机制
weixin_41496173的博客
07-10 1631
2025秋招大模型多模态面试题（四）- 注意力机制
BN和LN
qq_43575301的博客
12-15 326
BN（Batch Normalization）和LN（Layer Normalization）是两种常见的归一化方法，用于神经网络中的深度学习模型，特别是在卷积神经网络（CNN）和循环神经网络（RNN）中。操作对象： BN对每个 mini-batch 的输入进行归一化，因此它是在每个 mini-batch 的维度上进行操作的。操作对象： LN对每个样本的某一层的输入进行归一化，因此它是在每个样本的维度上进行操作的。参数： BN引入了可学习的参数（缩放和偏移），以便网络能够学习适合的归一化参数。
Batch Normalization详解以及BN和LN的区别
qq_38375203的博客
06-09 1355
最近要找工作，也是复习一下面经。之前经常看过的BN也是面试中的重中之重，记得当时面试华为诺亚方舟实验室的时候，面试官就问到了我BN和LN的区别，当时也仅仅是将这两者的区别说出来了，但是并没有进行扩展，现在想想也是有点后悔的（其实当时自己也不知道该扩展啥）。在今天也就做一下总结，来概括一下这两者的区别以及BN的动机原理。在机器学习领域有个非常重要的假设样本之间的独立同分布，也就是训练数据和测试数据假设是满足相同分布，这样我们通过训练数据训练模型才能够在测试数据上获得较好的效果(这个独立同分布是一个前提)。 然
BN和LN的区别
天空的味道
04-25 2021
BN 针对一个batch_size中同一维度的样本在做处理。比如上图，有x1,x2,…,xR个样本，这些样本的第一个维度描述的是体重，第二个维度描述的身高，BN在所有样本的的每一个特征（比如体重维度、身高维度）上进行归一化， BN的优点：第一个优点可以解决内部协变量偏移，第二个优点就是缓解了梯度饱和问题（如果使用sigmoid函数的话），加快收敛。 BN的缺点：第一个缺点batch_size较小的时候，效果很差，因为BN就是用batch_size中样本的均值和方差去模拟全部样本的均值和方差，这个假设在
BN与LN的区别
热门推荐
进击的扛把子
04-25 1万+
BN与LN的区别 主要区别在于 normalization的方向不同！ Batch 顾名思义是对一个batch进行操作。假设我们有 10行 3列 的数据，即我们的batchsize = 10，每一行数据有三个特征，假设这三个特征是【身高、体重、年龄】。那么BN是针对每一列（特征）进行缩放，例如算出【身高】的均值与方差，再对身高这一列的10个数据进行缩放。体重和年龄同理。这是一种“列缩放”。 而layer方向相反，它针对的是每一行进行缩放。即只看一笔数据，算出这笔所有特征的均值与方差再缩放。这是一种“行缩放”
LN层和BN层的区别？
GamBleout的博客
09-23 861
LN层，即层标准化层，是另一种归一化技术，它主要关注于对神经网络中某一层的所有神经元进行归一化处理。
计算ln_BN，LN，IN，GN都是什么？不同归一化方法的比较
weixin_42365510的博客
12-30 744
批处理归一化(BN)已经成为许多先进深度学习模型的重要组成部分，特别是在计算机视觉领域。它通过批处理中计算的平均值和方差来规范化层输入，因此得名。要使BN工作，批大小必须足够大，通常至少为32。但是，在一些情况下，我们不得不满足于小批量:当每个数据样本高度消耗内存时，例如视频或高分辨率图像当我们训练一个很大的神经网络时，它只留下很少的GPU内存来处理数据因此，我们需要BN的替代品，它能在小批量下很...
NLP高频面试题：参数更新、bert训练、扩充样本、layer&batch等
niuyunpang的博客
11-16 560
请介绍几种常用的参数更新方法。 梯度下降：在一个方向上更新和调整模型的参数，来最小化损失函数。 随机梯度下降（Stochastic gradient descent，SGD）对每个训练样本进行参数更新，每次执行都进行一次更新，且执行速度更快。 为了避免SGD和标准梯度下降中存在的问题，一个改进方法为小批量梯度下降（Mini Batch Gradient Descent），因为对每个批次中的n个训练样本，这种方法只执行一次更新。 使用小批量梯度下降的优点是： 可以减少参数更新的波动，最终得到效果更好和更稳.
腾讯NLP算法面试题整
neituijiang的博客
05-20 761
大家好，这里是面经酱～ 今天来帮大家梳理网上公开面经中提到的腾讯NLP算法岗相关面试题，欢迎在 面经酱(www.mjj666.cn) 搜索最新面经，有其他公司、岗位的面经梳理需求请留言哦～ 编程&数学基础 高楼扔鸡蛋问题取数对弈螺丝螺母匹配求一个大于等于输入的正整数的最小降序序列Top K贪心和 DP 区别两颗二叉树，判断B树是否为A的子树最长不重复子串打家劫舍给100亿个数据，怎么找到中位数二叉树直径正则表达式match()和search()差别最长公共子串指针与引用的区别蓄水池抽样问题甲乙扔骰
阿里巴巴NLP算法面试题整理
neituijiang的博客
05-12 2315
大家好，这里是面经酱～ 今天来帮大家梳理网上公开面经中提到的阿里NLP算法岗相关面试题，欢迎在 面经酱(www.mjj666.cn) 搜索最新面经，有其他公司、岗位的面经梳理需求请留言哦～ 今天来帮大家梳理网上公开面经中提到的阿里NLP算法岗相关面试题，欢迎在 面经酱(www.mjj666.cn) 搜索最新面经，有其他公司、岗位的面经梳理需求请留言哦～ 编程&数学基础 【高频】Topk 三叉树遍历 求一个大于等于输入的正整数的最小降序序列 快排 提取有效的ip地址 【高频】贪心和DP的区别 给定x
归一化总结：BN和LN的差别
weixin_44543648的博客
05-17 3438
参考链接：https://blog.csdn.net/qq_37541097/article/details/117653177 https://blog.csdn.net/Strive_For_Future/article/details/115220627 为什么要归一化： 在机器学习和深度学习中，有一个共识：独立同分布的数据可以简化模型的训练以及提升模型的预测能力——这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。也就是说我们在使用机器学习和深度学习的时候，会把数据尽可能的做一个独立
批量归一化（BN）和层归一化（LN）的区别
weixin_44115575的博客
06-03 2764
以批量归一化举例但是批量归一化同时也降低了模型的拟合能力，归一化之后的输入分布被强制拉到均值为0和标准差为1的正态分布上来，简单来说特征之间的距离不会跑的很远，大部分特征都在正态分布的那个峰值附近。以Sigmoid激活函数为例，批量归一化之后数据整体处于函数的非饱和区域，只包含线性变换（多层的线性函数跟一层线性网络是等价的，网络的表达能力下降），破坏了之前学习到的特征分布。因此，为了使得归一化不对网络的表达能力造成负面印象，可以通过一个附加的缩放和平移变换改变取值区间。
基础算法：BN与LN算法区别
weixin_48186491的博客
10-10 1071
网址：https://blog.csdn.net/Miracle_520/article/details/105429456?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162814815816780271581681%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162814815816780271581681
【深度学习中的批量归一化BN和层归一化LN】BN层（Batch Normalization）和LN层（Layer Normalization）的区别
m0_48086806的博客
08-07 1万+
【深度学习中的批量归一化和层归一化】BN层（Batch Normalization）和LN层（Layer Normalization）的区别
BN 与 LN：深度学习中的两种归一化技术对比
weixin_60006489的博客
10-30 1274
在深度学习中，归一化技术对模型训练的稳定性和速度起着至关重要的作用。Batch Normalization (BN) 和 Layer Normalization (LN) 是最常用的两种归一化方法，但它们适用的场景和效果差别较大。BN 通常用于卷积神经网络（CNN），而 LN 则更适合于序列数据和 Transformer 结构。本文详细对比了 BN 和 LN 的适用场景及它们在不同数据结构中的表现差异。
（十二）BN和LN
Miracle_520的博客
04-11 5053
文章目录一、基于规则的方法二、基于监督学习的方法三、Bootstrap算法四、Snowball 一、基于规则的方法 优点： 比较准确 不需要训练数据 缺点： low recall rate，（覆盖问题），覆盖范围小，很多规则人想不到 成本（人力） 规则本身难以设计（规则不冲突，规则不冗余） 二、基于监督学习的方法 定义关系类型 定义实体类型 训练数据准确 实体标记好（类型） ...
【NLP学习笔记1】BN、LN和WN区别与实现
wzw147的博客
08-04 1309
一、BN（Batch Nomalization，批标准化） 1、为什么要做BN 个人觉得这篇文章讲的很好https://zhuanlan.zhihu.com/p/24810318 一般来说，如果模型的输入特征不相关且满足标准正态分布时，模型的表现一般较好。 但是当每层数据在经过激活函数后，数据值容易趋向于激活函数的饱和值，那么当经过多层的激活函数后，数据将趋于极点，从而丧失了数据原本的分布信息，这时候模型的表现将下降。 为了充分利用数据以及激活函数的的分布信息，我们在每一层后面都会做一个BN，
ln和bn的区别，为什么nlp用ln不用bn
最新发布
02-22
在深度学习中，层归一化（Layer Normalization, LN）和批归一化（Batch Normalization, BN）都是常用的正则化技术，用于稳定和加速神经网络的训练。然而，它们在网络中的应用位置、工作原理以及适用场景方面有所不同，尤其是在自然语言处理（NLP）领域。 ### 区别 #### 1. 工作原理 - **批归一化（BN）**：通过对每一批次的小批量数据（mini-batch）进行统计均值和方差的计算，并以此为基础将每一层激活函数前的数据标准化为零均值单位方差的形式。具体公式如下： \[ \hat{x} = \frac{x - E[x]}{\sqrt{Var(x)+\epsilon}} \] 其中 \(x\) 表示待归一化的特征图，\(E[\cdot]\) 和 \(Var(\cdot)\) 分别表示期望和方差运算符。\(\epsilon\) 是一个小常数防止除以0的情况发生。经过这样的变换之后再乘以一个可训练的比例因子 γ 加上偏移项 β 进行尺度缩放和平移操作，最终得到输出结果。 - **层归一化（LN）**：则是直接作用于单个样本的所有通道维度上，对于每一个样本独立地求取其所有元素组成的向量的均值和标准差来进行规范化处理。因此，它不会受到小批次大小的影响，适用于序列长度变化较大的情况如变长文本等情形。 #### 2. 应用场合 - **BN 更适合 CNN**：由于图像识别任务通常使用固定尺寸输入图片且具备天然的空间局部关联特性，故 BN 对卷积核权重参数的学习具有较好的效果。 - **LN 特别适应 NLP 模型**：因为大多数现代 NLP 模型采用递归或自注意力机制处理不定长文本序列，例如 LSTM 或 Transformer 系列结构。在这种情况下，不同批次间可能存在较大差异甚至某些极端状况下仅有单一实例构成 mini-batch，此时 BN 将无法正常运作；相反 LN 即使面对很小的 batch size 也能保持稳定的性能表现。 ### NLP 中选择 LN 的原因 在 NLP 领域尤其是像 Transformer 类的架构里选用 Layer Norm 而非 Batch Norm 主要有以下几个因素考量： - **稳定性更高**：考虑到 NLP 数据集中常见的极短到超长的各种句子组合成的小批次采样容易造成 BN 统计不稳定的问题，进而影响收敛速度及准确度； - **对动态形状的支持更佳**：由于 NLP 输入通常是变长的序列形式，LN 相比之下可以更好地支持这类非固定的张量形态而不必担心因 batch 内部个体数目不足引发异常； - **无需额外维护状态变量**：相比于需要记录 running_mean 和 running_var 参数以便推理阶段使用的 BN，LN 只需简单保存几个标量系数便可在测试时复现相同的归一化行为，简化了模型部署流程。 综上所述，在实际工程实践中当涉及到 NLP 项目时倾向于优先考虑使用 Layer Normalization 实施有效的内部协方差位移抑制措施。 --相关问题-- 1. 层归一化 (LN) 具体是如何实现的？ 2. 批归一化 (BN) 在图像处理中的优势有哪些？ 3. 自然语言处理中还有哪些其他的正则化方法？ --- 希望这个解释对你有所帮助！如果你有任何进一步的问题或其他主题想了解，请随时告诉我。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Chaos_Wang_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值