炼丹知识点：秘制Normalization

最新推荐文章于 2024-10-24 22:11:41 发布
最新推荐文章于 2024-10-24 22:11:41 发布
阅读量171 收藏 1
点赞数
文章标签： 机器学习 人工智能 深度学习 python 神经网络
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3ODgwODA2MA==&mid=2247507131&idx=2&sn=2c248ec6020d38af0389acffc4441257&chksm=eb53c828dc24413e0b2744794f33b12b7c3d4a5fd6ac6b08f1ce6c70f0940d8e4fe3be1708fa&scene=126&&sessionid=0
版权

每天给你送来NLP技术干货！

 知识点 

作者：炼丹笔记

    在实践中，在不同阶段对数据进行不同的正则化操作会有非常大的影响，在正确的位置进行正确的正则化操作可以为模型带来巨大的提升。

    同时，在CTR预估任务中，Normalization也有着迷之效果，我们来聊一聊到底什么是Normalization。

什么是BatchNormalization?

d514c23567b1363dae7a016096ad3a15.png

    谷歌在2015年就提出了Batch Normalization(BN)，该方法对每个mini-batch都进行normalize，下图是BN的计算方式，会把mini-batch中的数据正规化到均值为0，标准差为1，同时还引入了两个可以学的参数，分别为scale和shift，让模型学习其适合的分布。

f9871fd3a9075c134921dfc173c9d55e.png

    那么为什么在做过正规化后，又要scale和shift呢？

    当通过正规化后，把尺度缩放到0均值，再scale和shift，不是有可能把数据变回"原样"？因为scale和shift是模型自动学习的，神经网络可以自己琢磨前面的正规化有没有起到优化作用，没有的话就"反"正规化，抵消之前的正规化操作带来的影响。

    BatchNormalization是对一批样本进行处理, 对一批样本的每个特征分别进行归一化,举个简单的例子,加入我有一批样本, 每个样本有三个特征,,分别是身高,体重,年龄,那么我做归一化的时候,就是对体重做归一化,对身高做归一化,对年龄做归一化,三者之间不会有交叉影响。

f84fdee15eb910373b36aae2617337dd.png

什么是LayerNormalization?

5e223e02aa5b1290424901828f8c39e0.png

    LayerNormalization是对一个样本进行处理，对一个样本的所有特征进行归一化，乍一看很没有道理，因为如果对身高体重和年龄一起求一个均值方差，都不知道这些值有什么含义，但存在一些场景却非常有效果——NLP领域。

5bf5088396ad6cf2c3b6f10d5a15cead.png

  在NLP中，N个特征都可能表示不同的词，这个时候我们仍然采用BatchNormalization的话，对第一个词进行操作，很显然意义就不是非常大了，因为任何一个词都可以放在第一个位置，而且很多时候词序对于我们对于句子的影响没那么大，而此时我们对N个词进行Normalization等操作可以很好地反映句子的分布。(LN一般用在第三维度，[batchsize, seq_len,dims])，因为该维度特征的量纲是相同的，所以并没有太多区别。

为什么要用Normalization？

321c432cba35d883379036119677a755.png

01

解决梯度消失问题

    拿sigmoid激活函数距离，从图中，我们很容易知道，数据值越靠近0梯度越大，越远离0梯度越接近0，我们通过BN改变数据分布到0附近，从而解决梯度消失问题。

b59ef6b394708f16d95af56dcef60174.png

02

解决了Internal Covariate Shift(ICS)问题

    先看看paper里对ICS的定义：

b9b254c969e10ac77abf0c2ee54e87b6.png

    由于训练过程中参数的变化，导致各层数据分布变化较大，神经网络就要学习新的分布，随着层数的加深，学习过程就变的愈加困难，要解决这个问题需要使用较低的学习率，由此又产生收敛速度慢，因此引入BN可以很有效的解决这个问题。

03

加速了模型的收敛

    和对原始特征做归一化类似，BN使得每一维数据对结果的影响是相同的，由此就能加速模型的收敛速度。

2898f278bf8106b301f96b522e36ef92.png

04

具有正则化效果

    BatchNormalization层和正规化/归一化不同，BatchNormalization层是在mini-batch中计算均值方差，因此会带来一些较小的噪声，在神经网络中添加随机噪声可以带来正则化的效果。

在CTR问题中的蜜汁效果

150cc5ec485b7a37288c9b9d69accb41.png

    在非常多CTR相关的论文中,很多工作主要都Focus在模型结构方面的优化或者引入新的信息等,而这么做往往都忽略了模型中的一些小的模块的作用,例如Normalization,在CTR相关的结构中我们发现,大家经常会把BatchNorm放在最后的MLP层, 但是这么做够吗？Normalization是否发挥了最大的作用？是否是最优的方案？本文通过大量的系统的实验,给出了结论：没有,还有更好的方案, 本文通过在CTR模型的不同地方加入不同的正则化策略(BatchNorm,LayerNorm等),最终取得了非常好的效果。那究竟是怎么做的呢？我们继续往下看，下面的框架很简单，显示作者提出模型的核心组成部分VO-LayerNorm,然后是基于此提出的新的NormDNN，最后是实验验证部分。

炼

Variance-Only LayerNorm

    这是一个经验得出来的操作,作者在大量的实验中发现，原始的LayerNorm有些复杂化了,在对其进行不断的精简实验后,作者发现在CTR数据集上的效果并没有带来下降，反而更好了。下面我们看看这一步步精简的操作：

炼

复杂版本LayerNorm

假设我们一个Batch有H个样本, ,那么我们的LayerNorm可以通过下面的方式计算得到：

,

其中,

,

LayerNorm在NLP任务中取得了非常好的效果,但是实践中,Xu等人发现这个LayerNorm的bias和gain增加了过拟合的风险,并且经过试验他们发现简化LayerNorm也可以取的非常不错的效果。

炼

简化版的LayerNorm

我们把bias以及gain同时删除,得到精简版的LayerNorm,

,

其中,

,

在大量的实验中,我们发现简化版本的LayerNorm并没有什么性能损失,相反的还可以取的更好的效果。然后作者在CTR相关的数据集上又进行了大量的实验,发现对模型效果影响最大的不是re-centering等操作,反而方差带来的影响更大，于是作者提出了新的LayerNorm。

Variance-Only LayerNorm

其中,

,

此处,作者直接除以了方差,虽然更加精简了,但是实验效果却显示这么做在CTR数据集上却可以取得更好的效果。

c5cf374ab3f57399a0ecd5a85dd446c6.gif

NormDNN

f3e75ed4bfd644c4e29ea15937f7aa30.png

在不同的地方使用不同形式的Normalization策略会带来什么样的影响呢？此处作者主要探索了两个部分, 特征Embedding部分的Normalization以及MLP部分的Normalization。在大量的实验之后，作者得到了一种提升最大的方案：

  1. 对于数值类的特征，我们使用Variance-Only LayerNorm或者LayerNorm;

  2. 对于类别特征，我们使用BatchNorm;

  3. 对于MLP部分，我们使用LayerNorm;

在特征Embedding层的Normalization

假设我们有个域,我们原始的embedding可以表示为:

,

表示每个field的embedding的维度;

我们在该基础上加入Normalization,得到

,

此处的可以是LayerNorm,BatchNorm等。

在MLP处加入Normalization

此处作者发现在非线性的激活函数之前加入Normalization操作的效果是比先使用激活函数再做Normalization处理要好的。

为什么Normalization是有效的？

作者最后分析了一下Normalization为什么有效,并绘制了不同的Normalization对于我们均值和方差带来的影响,从图中以及实验中看来,我们发现 Normalization有效的最大一个原因在于方差的影响而不是均值。

24f552fbec6934efb4938d82758f4272.png

同时我们发现很多神经元的输出大部分在使用Variance-Only LayerNorm之后都会被push输出一个负数的值，然后被RELU过滤掉,这可以减少噪音带来的影响,同样的，我们将Normalization的导数表示为：

从上面的式子中我们也发现我们的Normalization对于是非常敏感的。

特征Embedding上加入Normalization是否有效？

575ca3096614c2373eeb54c6d9e0c0f7.png

从上面的实验中,我们发现,在特征Embedding层加入Normalization都是有效的,而且LayerNorm以及相关的变种是效果相对稳定以及最好的;

Normalization对于MLP的影响

e034d094a03451a722f0da7df966be7e.png

从上面的实验中,我们发现,在MLP层加入Normalization都是有效的,但是具体选用哪种Normalization需要依据不同的任务进行选择;

Normalization对于Feature EMbedding & MLP的影响

041683f9a4fef8cf57759e31c22ecf5b.png

从上面的实验中,我们发现,在MLP层以及特征Embedding层都加入Normalization都是比单个加入都有效的,在MLP侧加入VO-LN的Normalization往往能取得更好的效果;

Normalization对于数值以及类别特征的 EMbedding的影响

e9038813b8a67bea3079973db80d1220.png

从上面的实验中,我们发现,对数值的EMbedding使用LayerNorm相关的效果更好,对数值特征使用LayerNorm相关的正则化方法,在MLP处使用VO-LN往往可以取得最好的效果.

NormDNN 与 其他网络比较

404402bac07cfcfd245cf47624b3957c.png

9abce06cdadde17eef28bba852859e94.png

出乎意料,在三个数据集上,我们只需要对不同层做Normalization的处理就可以取得比DeepFM,xDeepFM更好的效果;

NormDNN: Numerical Embedding用LayerNorm相关的处理; Categorical Feature使用BatchNorm相关的处理; 在MLP部分使用VO-LN

泛化到其他Deep相关的模型

cc8b99b4809790612545b60f795b1e60.png

    我们把初始化的方案应用到更加复杂的网络结构上也都取得了更好的效果;也就是说这种Normalization的方案可以扩充到其他的所有最新网络结构上;

小结

219b813f5756c5c284bede787e49fa41.png

    从上面的内容来看,Normalization对于模型的帮助是非常大的; 对Embedding之后的特征进行Normalization(数值Embedding处用LayerNorm相关的Normalization,Categorical部分使用BatchNorm相关的处理，MLP部分使用VO-LN)可以取得非常大的提升;非常值得一试。

参考资料

ade1973d3d37ea22cf033af0f11bbfd2.png

  1. batchNormalization与layerNormalization的区别：https://zhuanlan.zhihu.com/p/113233908

  2. NLP中 batch normalization与 layer normalization：https://zhuanlan.zhihu.com/p/74516930

  3. 深度学习中的Normalization模型:https://www.jiqizhixin.com/articles/2018-08-29-7

  4. Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction：https://arxiv.org/pdf/2006.12753.pdf

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

70444362767a242e99cdc7f277e63b8b.png

记得备注呦

整理不易，还望给个在看！
zenRRan
关注
归一化：Layer Normalization、Batch Normalization
u013250861的博客
02-22 804
Normalization 有很多种，但是它们都有一个共同的目的，那就是把输入转化成均值为 0 方差为 1 的数据。我们在把数据送入激活函数之前进行 normalization（归一化），因为我们不希望输入数据落在激活函数的饱和区。同时，使得训练数据在训练过程中尽可能的保持和测试数据拥有相同的分布。 一方面，这样可以减少数据的偏差，避免在训练过程中出现梯度爆炸或是梯度消失的问题； 另一方面，这也是确保模型测试性能的重要假设之一。 二者提出的目的都是为了加快模型收敛，减少训练时间。 LN：Layer
机器学习--正则化的作用
m0_52529905的博客
09-10 665
正则化通常应用于数量特征，而不是分类特征，因为分类特征通常是二进制的，不需要进行缩放。数据预处理中的正则化主要关注特征缩放，而深度学习中的正则化关注模型复杂性的控制。例如，在梯度下降优化算法中，特征值差异较大可能导致数值不稳定的情况，而正则化可以减少这种情况的发生。机器学习中的数据预处理中的正则化和深度学习中神经网络的正则化虽然都涉及到“正则化”这个术语，但它们实际上是不同的概念和目的。在机器学习中，对数量特征进行正则化的主要目的是将这些特征缩放到相同的范围内，以确保模型在训练过程中能够。
神经网络测试集loss不变_神经网络训练过程中不收敛或者训练失败的原因
weixin_39737233的博客
12-01 4187
在面对模型不收敛的时候，首先要保证训练的次数够多。在训练过程中，loss并不是一直在下降，准确率一直在提升的，会有一些震荡存在。只要总体趋势是在收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，再考虑采取措施解决。一、数据与标签没有对数据进行预处理。数据分类标注是否准确？数据是否干净？没有对数据进行归一化。由于不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数...
【AI数学】Layer-Normalization详细解析
木盏
10-19 1万+
最近深入batch normalization的研究，发现了一系列Normalization方法的富矿，深有收获。 从2015年的BN开始，2016年出了LN(layer normalization)和IN(Instance Normalization)，2018年也就是今年，Kaiming提出了GN(Group normalization)，成为了ECCV2018最佳论文提名。 论文标题：L...
CNN、Transformer、MLP-Mixer谁最鲁棒？
qq_29462849的博客
09-18 283
来源丨京东探索研究院编辑丨极市平台导读本文提出了第一个在大规模数据集ImageNet上面向模型结构和训练技巧且针对多种噪音类型的模型鲁棒性评测基准——RobustART。该benchma...
Batch Normalization和激活函数的使用顺序
like_red的博客
02-08 3255
问题：如题 结论：先用Batch Normalization 再用激活函数 例子： net = tf.layers.dense(input, units=unit, activation=None, kernel_initializer=tf.truncated_normal_initializer()) net = tf.nn.relu(tf.layers.batch_normalization...
ValueError: Unknown layer: InstanceNormalization
jstlovely的博客
05-12 1412
ValueError: Unknown layer: InstanceNormalization使用keras的load_model出现如上错误 使用keras的load_model出现如上错误 原因是我们在训练模型的时候使用了InstanceNormalization这个归一化层代替了之前的BatchNormalization这个归一化层。而在我们使用keras的load_model这个函数加载保存的模型时，它不知道这个InstanceNormalization是什么东西。所以它会报错。 那我们就要让它知
深度学习知识点复习：feature normalization和batch normalization
qq_16236875的博客
04-09 1534
1 为什么要对input 做normalization： input上的值差异非常巨大，导致模型训练的很慢，如左图所示，如果差异很小，训练很快，如右图 为了使得loss改变，不同的w的改变的幅度不一样，因此左图纵向上波动很短。右图因为w1和w2的波动对损失的影响差不多，因此是一个对称的圆形。 通常对左边情况的只有将lr 调低一点，使得w2 缓慢调整降低loss。 2 feature n...
GradNorm：Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks，梯度归一化
热门推荐
Leon_winter的博客
03-21 2万+
文章目录引言gradnorm   gradnorm论文地址：https://arxiv.org/abs/1711.02257   gradnorm是一种优化方法，在多任务学习（Multi-Task Learning）中，解决 1. 不同任务loss梯度的量级（magnitude）不同，造成有的task在梯度反向传播中占主导地位，模型过分学习该任务而忽视其它任务；2. 不同任务收敛速度不一致；这两个...
原理解释｜直觉与实现：Batch Normalization
喜欢打酱油的老鸟
07-06 1202
https://www.toutiao.com/a6707566287964340747/ 作者：Harrison Jansma编译：ronghuaiyang 在本文中，我会回顾一下batch normalization的用处。我也会在Keras中实现一下batch normalization，并在训练中得到了实际的提升。代码可以在https://github.com/harrisonjans...
python 归一化总结：BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm
weixin_43905052的博客
03-09 5301
本文总结python常见的归一化方法，解决如何理解和代码实现的问题 1、如何理解各种Normalization 1.1 相关论文
深度学习论文: NAM: Normalization-based Attention Module及其PyTorch实现
mingo_敏
12-01 3809
深度学习论文: NAM: Normalization-based Attention Module及其PyTorch实现 NAM: Normalization-based Attention Module PDF: https://arxiv.org/pdf/2111.12419.pdf PyTorch代码: https://github.com/shanglianlm0525/CvPytorch PyTorch代码: https://github.com/shanglianlm0525/PyTorch-N
加速深度学习训练：Batch Normalization原理与实战
Batch Normalization (BN) 是一种深度学习技术，旨在解决神经网络在训练过程中遇到的关键问题。这些问题主要包括内部协变量漂移（Internal Covariate Shift）和梯度弥散。内部协变量漂移是指随着网络训练，浅层权重...
a标签隐藏真实地址_带有噪声标签的机器学习图像分类综述
weixin_39791152的博客
11-22 514
Image Classification with Deep Learning in the Presence of Noisy Labels: A Survey作者：orkem Algan∗†, Ilkay Ulusoy∗机器学习依赖于网络对大量数据的学习。尽管神经网络对于数据噪声有一定的鲁棒性，但是噪声确实对模型的训练存在负面影响。本篇文章旨在对现有算法进行总结，并对现有算法分为两...
【传知代码】机器学习在情绪预测中的应用（论文复现）
ztK63LrD的博客
10-24 1008
随着近年来社交媒体的快速增长，社交媒体上的用户生成内容（例如视频）的量大幅增加。不同模态的自动情感分析有利于人机交互，并吸引了大量的研究兴趣。多模态情感分析（MSA）旨在捕获和整合来自不同相关模态的情感信息，以预测说话者的情感状态或倾向。通常，我们可以从视频中获得三种形式：视觉，声学和文本。情感分析是一个重要的研究领域，旨在从人类话语中提取和融合情感信息。由于人类情感的多样性，多模态分析往往比单一模态分析更准确。为了补充相关模态之间的信息，一种有效的方法是执行跨模态交互。
【机器学习基础】激活函数
weixin_41838721的博客
10-22 280
Sigmoid函数 观察导数图像 在我们深度学习里面，导数是为了求参数W和B，W和B是在我们模型model确定之后，找出一组最优的W和B，使我们那个模型输入的x，得出我们Y最近我们真实结果的一个Y 导数函数图像，往两边走的话，它的导数为零。如果这样的情况出现的话，出现梯度消失。我们希望它的导数是一个平稳值，不要大也不要小 值落在，无穷大的时候或者无穷小的时候，它的导数就接近于零，此时W和B就不能更新了，无法找到最优的W和B。你就是你不断找不找，每天也走一走个几米几米远，事实上W和B在几千米远之外
【小白学机器学习16】 概率论的世界观2： 从正态分布去认识世界
奔跑的犀牛先生
10-21 454
正态分布，概率论都是一种世界观。
【机器学习】多元线性回归
最新发布
2303_80346267的博客
10-24 1226
在实际应用中，许多问题都包含多个特征（输入变量），而不仅仅是单个输入变量。**多元线性回归**是线性回归的扩展，它能够处理多个输入特征并建立它们与目标变量的线性关系。本教程将系统性推演多元线性回归，包括向量化处理、特征放缩、梯度下降的收敛性和学习率选择等，并使用`numpy`实现。最后，我们会通过`sklearn`快速实现多元线性回归模型。
机器学习——元学习（Meta-learning）
2301_80374809的博客
10-24 1174
元学习的核心思想是通过让模型从不同的任务中进行学习，最终具备快速适应新任务的能力。在传统的机器学习中，模型仅专注于某一具体任务，而元学习则旨在通过多任务学习来“学习”一个可以泛化于不同任务的学习策略。提高模型在数据稀少的新任务上的快速适应能力。例如，人类可以通过少数几个例子来学会新事物，而元学习正是希望让机器学习模型也具备这样的能力。基于模型的方法：通过对模型架构的修改，使其在短时间内适应新任务。基于优化的方法：通过优化策略的改进，使模型在新任务上的更新更加高效。基于度量的方法。
深度学习优化技术：Batch Normalization详解
"BatchNormalization（批标准化）是深度学习领域中一种重要的技术，它通过规范化每层神经网络的输入，来提升模型训练的稳定性和效率。由Ioffe和Szegedy在2015年提出，BN的主要目标是解决深度神经网络中常见的梯度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值