【深度学习】深度学习中的Normalization

已于 2022-11-22 10:07:58 修改
阅读量376 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 人工智能
于 2022-11-07 15:20:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zfhsfdhdfajhsr/article/details/127731788
版权

目录

1 前言

  在debug深度学习模型时，经常会看到normalization操作。但是要一查这个操作到底有啥用处时，经常会看到同一个答案：使得神经网络每一层的分布一致，那么不禁就要问为什么一致就会使得模型的性能提高，本篇文章尝试去了解这个问题的始末。
  本篇博客主要是基于参考文献【1】的知识框架结合个人理解和其它文献整理而成，如有错误或者侵权请各位大佬在文末留言。

2 为什么需要 Normalization

参考文献

[1]详解深度学习中的Normalization，BN/LN/WN
[2]深度学习中的Normalization模型
[3]深度学习中的归一化(normalization)和正则化(regularization)
[4]Pytorch常用张量操作以及归一化算法实现

一穷二白到年薪百万
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习Batch Normalization理论
11-09
深度学习中的Batch Normalization（批量归一化）是一种加速深度神经网络训练的技术，由Sergey Ioffe和Christian Szegedy于Google公司提出。这项技术被广泛应用于深度学习领域，它通过减少网络内部的协变量偏移...
深度学习基础知识（三）--- Normalization 规范化 操作
朝花&夕拾
12-29 5242
本文部分过程和图片来源于以下参考资料 参考资料： 知乎专栏 - 张俊林 - 深度学习中的Normalization模型 - https://zhuanlan.zhihu.com/p/43200897 知乎专栏 - Juliuszh - 详解深度学习中的Normalization，BN/LN/WN - https://zhuanlan.zhihu.com/p/33173246 CSDN ...
深度学习 Normalization
Fantastic
10-31 1145
深度学习 Normalization
深度学习—标准化（Normalization）
sunghosts的专栏
04-15 3792
前言 归一化层，目前主要有这几个方法，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）、Switchable Normalization（2018年）； 将输入的shape记为[N, C, H, W]，这几个方法主要的区别就是在： batchNorm是在batch上，对NHW做归一化，对小batchsize效果不好； layerNorm
常用的归一化（Normalization） 方法：BN、LN、IN、GN
qq_38410428的博客
09-29 8456
常用的Normalization方法主要有：Batch Normalization（BN，2015年）、Layer Normalization（LN，2016年）、Instance Normalization（IN，2017年）、Group Normalization（GN，2018年）。它们都是从激活函数的输入来考虑、做文章的，以不同的方式对激活函数的输入进行 Norm 的。 我们将输入的 fe...
标准化（Normalization）知识点总结
Mike_honor的博客
07-22 2159
数据标准化就是使数据分布服从均值为0，方差为1的标准正态分布（高斯分布），是深度神经网络中常用的一种手段，常用在激活函数之前。它的使用可以加快模型训练时的收敛速度，使模型训练过程更加稳定，可以起到缓解梯度消失和梯度爆炸，缓解过拟合等作用。常见的标准化操作有4种BatchNormalization(BN)、LayerNormalization(LN)、InstanceNormalization(IN)、GroupNormalization(GN)。下面将详细讲解这4种标准化操作的异同点以及BN的优点。....
深度学习Cup-main笔记
最新发布
05-31
在"2022HuaweiCup-main (3).zip"这个压缩包中，可能包含了相关的代码示例、项目实践、比赛资料等，这些都是学习深度学习的重要资源。通过阅读和实践这些内容，可以加深对理论知识的理解，并提升动手能力。 总的来说...
Arcgis深度学习入门教程.pdf
05-13
在深度学习与机器学习的关系中，深度学习是一种特殊形式的机器学习，它侧重于使用深层神经网络来处理复杂的非线性关系，并在图像识别、语音识别、自然语言处理等领域取得了突破性的进展。特别是2012年之后，随着深度...
深度学习-Transformer实战系列课程
09-23
Transformer模型是深度学习领域中的一个重大突破，由Google在2017年提出的《Attention is All You Need》论文中首次介绍。Transformer模型以其创新性的注意力机制（Attention Mechanism）取代了传统的序列依赖模型，...
（六）Normalization
我心飞扬
02-06 2693
（六）Normalization why 从图中可以看出，当输入太小或者太大的时候，函数的取值随着输入的变化几乎为0。这样就会发生梯度离散的情况，因此我们很有必要把输入控制在一个小一点的区间内。所以我们通过normalization操作，把输入的值等效变换在一个小一点的区间之内。我们假设变换后的值以0为均值，以σ\sigmaσ为方差，即N(0,σ2)N(0, \sigma ^2)N(0,σ2)。 应用 我们可以把这种方法应用在图像领域，叫做Image Normalization。我们把输入的像素值等效缩放
常见的几种normalization方法
木东的博客
04-16 6025
文章目录 几种常见的normalization方法 基本知识 数学原理 Batch Normalization (BN) Layer Normalization (LN) pytorch中的LN Instance Normalization (IN) Group Nor...
Normalization方法
linkequa的博客
06-15 637
1，处理生物学重复问题 在生物学实验中，常常需要做3次或以上的重复，但在用数据时，往往要考虑用哪个重复去代表这个状态，比较常用的方法貌似是取平均值，但更好的貌似是下面这种（from L1000）： L1000 experiments are typically done in 3 or more biological replicates. We derive a consensus replic...
深入理解深度学习中的Normalization操作
anshuai_aw1的博客
12-13 2429
Normalization, 即标准化, 和普通的数据标准化类似, 是将分散的数据统一的一种做法, 也是优化神经网络的一种方法。Normalization 可以将数据统一规格, 能让机器学习更容易学习到数据之中的规律。 在深度学习中，Normalization已经成为了标准技术。2015 年Google首先提出了Batch Normalization（BN），源论文地址。自 BN 之后， Laye...
Normalization(标准化)的原理和实现详解
Dongdong Bai's Blogs
10-08 4万+
Normalization这个名词在很多地方都会出现，但是对于数据却有两种截然不同且容易混淆的处理过程。对于某个多特征的机器学习数据集来说，第一种Normalization是对于将数据进行预处理时进行的操作，是对于数据集的各个特征分别进行处理，主要包括min-max normalization、Z-score normalization、 log函数转换和atan函数转换等。第二种Normaliza
详解深度学习中的Normalization，不只是BN（1）
Paper weekly
02-06 2542
“ 深度神经网络模型训练之难众所周知，其中一个重要的现象就是 Internal Covariate Shift. Batch Normalization 大法自 2015 年由Google 提出之后，就成为深度学习必备之神器。自 BN 之后， Layer Norm / Weight Norm / Cosine Norm 等也横空出世。本文从 Normalization 的背景讲起，用一个公式概括
深度学习各种normalization
未来战警
05-25 1719
各种Normalization层出不穷，现做一下总结，以供大家学习参考 1. BN：Batch Normalization 这是大家最熟悉的了，结合上图 针对每一批， 正规化，减少前一层对后层的影响 针对一批中的 每一个 feature进行 normalization（也即每一个 feature采用不同的规范化操作），而 normal后是一个向量，向量的维度是 feature的个...
深度学习基础之-2.5正规方程Normal Equations
Susan Wong
05-17 536
正规方程 Normal Equations 对于线性回归问题，除了前面提到的最小二乘法可以解决一元线性回归的问题外，对于多元线性回归，可以用正规方程来解决，也就是得到一个数学上的解析解。它可以解决下面这个公式描述的问题： (1)y=a0+a1x1+a2x2+⋯+akxky=a_0+a_1x_1+a_2x_2+\dots+a_kx_k \tag{1}y=a0​+a1​x1​+a2​x2​+⋯+ak​...
深度学习——DeepNormal
weixin_51352656的博客
11-06 942
原论文：Deep Normal Estimation for Automatic Shading of Hand-Drawn Characters 1.主要内容：提出了一种残差U型网络，该网络能够根据输入的线稿动画图计算得出法向量估计图（Normal Estimation Map）。依据该法向量估计图能够自动进行三维立体渲染，最后得出立体动画图。该方法能够自动生成立体图，不需要人为输入参数。 背景意义：如今3D动画等影视艺术作品越来越流行，深受广大人民群众喜爱。同时，3D动画等影视艺术作品也越来越多。但是，
深度学习（二十九）Batch Normalization 学习笔记
热门推荐
hjimce的专栏
03-12 28万+
近年来深度学习捷报连连，声名鹊起，随机梯度下架成了训练深度网络的主流方法。尽管随机梯度下降法，将对于训练深度网络，简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化等，这些参数的选择对我们的训练至关重要，以至于我们很多时间都浪费在这些的调参上。那么学完这篇文献之后，你可以不需要那么刻意的去调整学习率这些参数。就像什么激活函数层、卷积层、全连接层一样，
深度学习：梯度训练实用指南
"这篇文档是Yoshua Bengio在2012年撰写的一份关于深度学习中基于梯度的训练实用建议的手册。它涵盖了深度神经网络学习算法中的超参数选择、优化策略以及处理更深层次架构训练挑战的方法。" 在深度学习领域，基于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值