pytorch之常用的Normalization——Batch/Layer/Instance/Group Normalization

最新推荐文章于 2023-10-13 20:57:38 发布
最新推荐文章于 2023-10-13 20:57:38 发布
阅读量1k 收藏 4
点赞数 1
分类专栏： pytorch框架知识
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43183872/article/details/108299558
版权

文章目录

一、为什么要Normalization

解决Internal Covariate Shift(ICS)：数据尺度/分布异常，导致训练困难的问题

二、常见的Normalization

在这里插入图片描述

1、Batch Normalization(见之前的博客文章)

2、Layer Normalization

在这里插入图片描述
总结：Layer Normalization顾名思义是根据每层的神经元来计算该层的均值和方差，也就是每层有自己的均值和方差。

pytorch实现代码
在这里插入图片描述

3、Instance Normalization

在这里插入图片描述
总结：Instance Normalization是针对图像迁移当中，每个batch中的图片风格是不同的，如果根据一个batch计算均值和方差是有问题的，这里面便根据每张图片的通道来计算均值和方差，也就是计算每张特征图的均值和方差。
pytorch代码实现
在这里插入图片描述
说明：Instance Normaliztion有1d/2d/3d的

4、Group Normaliztion

在这里插入图片描述
总结：有时候我们在训练过程中，如果batch设置过大的话，GPU和CPU的内存可能不够，但是如果batch较小的话，使用batch normalization的话效果也不好。针对这个问题，便提出了Group Normalization，通过将通道进行分组，分别计算每个组的均值和方差。例如有50个通道，分成两组的话，也就是计算25个通道的均值和方差。
pytorh实现代码
在这里插入图片描述

三、Normalization总结

在这里插入图片描述
该图很好的说明了每一种Normalization的计算方式的不同，Batch Normalization针对每批数据的特征维度计算均值和方差。Layer Normalization针对每层神经单元计算均值和方差。Instance Normalization对每个通道进行计算均值和方差。Group Normalization针对每组通道进行计算均值和方差。

四、参考

深度之眼pytorch框架班

Struggle~
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Python深度学习】零基础掌握Normalization Layers Instance Normalization
Mr数据杨
12-09 780
通过对和系列的探索，我们可以发现，这些归一化层在深度学习中的重要性就像调色板在画家手中的作用一样重要。它们不仅帮助模型专注于最重要的特征，而且还提高了模型对不同环境变化的鲁棒性。无论是在图像识别、语音处理还是其他复杂的数据分析任务中，这些归一化技术都是提升模型表现的关键。通过将这些先进的技术应用于实际问题，我们可以在保持数据一致性和增强模型性能的同时，为这个数据驱动的世界带来更多的创新和进步。
PyTorch离线安装包+官网源/清华源
06-16
在线安装失败，离线安装简单，有官网源/清华源。资源内有详细说明。但是只有python3.8对应版本！安装命令请baidu
受Darknet启发的小型pytorch推理框架。-C/C++开发
05-27
受Darknet启发的小型pytorch推理框架。 Msnhnet一个受darknet启发的小型pytorch推断框架。 待办事项：1.GPU 2.neon操作系统支持（您可以自己检查其他操作系统）Windows linux mac已检查√√x gpu xxx Yolo测试（Win10 MSVC 2017 I7-10700F）净时间yolov3 465ms yolov3_tiny 75ms yolov4 600ms已测试网络lenet5 lenet5_bn alexnet vgg16 vgg16_bn resnet18 resnet34 resnet50 resnet101 resnet152 darknet53 googLenet yolov3 yolov3_spp yolov3_tiny yolov4预训练模型链接：https：//pan.ba
train_pytorch_图像分类/pytorch_train_
09-29
图像分类在pytorch上，导入自己的数据集地址即可使用
conditional_batch_normalization:有条件批处理规范化Pytorch的实现
05-18
conditional_batch_normalization 有条件批处理规范化Pytorch的实现 这是在[1]和[2]中引入的有条件批处理归一化，并在[3]中成功地应用于有条件的图像生成。 [1] Dumoulin，Vincent，Jonathon Shlens和Manjunath Kudlur。 “艺术风格的博学代表。” CoRR，abs / 1610.07629 2.4（2016）：5。 [2] De Vries，Harm等人。 “通过语言来调节早期的视觉处理。” 神经信息处理系统的进展。 2017。 [3] Miyato，Takeru和Masanori Koyama。 “带有投射识别器的cGAN。” arXiv预印本arXiv：1802.05637（2018）。
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现
04-19
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现;运行无误，示例为mnist手写体识别
Pytorch归一化方法讲解与实战：BatchNormalization、LayerNormalization、nn.BatchNorm1d和LayerNorm()和F.normalize()
热门推荐
qq_43391414的博客
10-16 1万+
文章目录LayerNormalizationBatchNormalization 这些Normalization的作用都是让数据保持一个比较稳定的分布，从而加速收敛。Batch Normalization 的处理对象是对一批样本， Layer Normalization 的处理对象是单个样本。不过，他们到底指的是什么呢？有的时候，讲解是多余的，实战一下，你就懂了： talk is cheap,show me the code import torch import torch.nn as nn Laye
pytorch 学习：layer normalization
qq_40206371的博客
09-04 1976
torch.nn.LayerNorm( normalized_shape, eps=1e-05, elementwise_affine=True) 参数介绍： normalized_shape 输入尺寸 （多大的内容进行归一化）【默认是靠右的几个size（后面实例会说明）】 eps 为保证数值稳定性（分母不能趋近或取0）,给分母加上的值。默认为1e-5。 elementwise_affine 布尔值，当设为true，.
Pytorch：深度学习中的Normalization
qq_44817900的博客
08-23 1287
但是神经网络有多层，如果数据经过一层后都发生了数据分布的改变，就不能保证这个网络的高效性，这就是ICS问题，而深度学习中的Normalizaiton就是解决这个问题。假设是对一个全连接的网络层的输出做batch norm，此层的输出有五个神经元五个特征，每个特征的维度是1，然后这个batch是3。此部分通过1d的方式来验证BN的计算方式，batch中的数据也模拟成和上1d图一致。假设对3d卷积层的输出做batch norm，此卷积层输出的特征图大小是3。2大小，且一个层有3个卷积核，所以有3个特征图。
（pytorch进阶之路）五种归一化原理和实现
qq_19841133的博客
08-08 2835
为什么IN能实现风格迁移，输入是[N，L，C]，我们对dim=1求均值和标准差，相当于当前这个单一样本在所有时刻不变的东西，我们减去均值再除以标准差，相当于我们把这个单一的时序样本在所有时刻中都有的东西消去了，什么东西是这个样本在所有时刻都有的呢，就是这个样本（图片）的风格，如果是音频，那就是这个人的说话的身份是不变。调用API，传入emb_dim，为了方便验证关闭affine，传入的input的格式是[N,C,L]，输出格式也是[N,C,L]，我们习惯[N,L,C]，我们就转置一下。.........
CnSTD基于PyTorch/MXNet的中文/英文场景文字检测（Scene Text Detection）Python3 包
最新发布
02-06
CnSTD: 基于 PyTorch/MXNet 的 中文/英文 场景文字检测（Scene Text Detection）Python3 包。支持基于环境变量 CNSTD_DOWNLOAD_SOURCE 的取值，来决定不同的模型下载路径，默认使用国内OSS地址。LayoutAnalyzer 中增加了参数 model_categories 和 model_arch_yaml，用于指定模型的类别名称列表和模型架构。
python 理解BN、LN、IN、GN归一化、分析torch.nn.LayerNorm()和torch.var()工作原理
Next_SummerAgain的博客
04-15 2878
最近在学习Vit（Vision Transformer）模型，在构建自注意力层（Attention）和前馈网络层（MLP）时，用到了torch.nn.LayerNorm(dim)，也就是LN归一化，与常见卷积神经网络（CNN）所使用的BN归一化略有不同。
[二十二]深度学习Pytorch-正则化Regularization之dropout
yanzhiwen2的博客
04-13 567
深度学习Pytorch-正则化Regularization之dropout
python 归一化总结：BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm
weixin_43905052的博客
03-09 5173
本文总结python常见的归一化方法，解决如何理解和代码实现的问题 1、如何理解各种Normalization 1.1 相关论文
PyTorch笔记 - Normalization Layer (Batch/Layer/Instance/Group/Weight)
Mystra
12-23 789
统计量：statistic term。
【pytorch】Normalization层
weixin_43468458的博客
03-02 663
一、两个概念 独立同分布（independent and identically distributed） 独立同分布的数据可以简化常规机器学习模型的训练、提升机器学习模型的预测能力 白化（whitening） 去除特征之间的相关性 —> 独立； 使得所有特征具有相同的均值和方差 —> 同分布。 ...
PyTorch学习—18.标准化—Batch Normalization、Layer Normalizatoin、Instance Normalizatoin、Group Normalizatoin
柳杰的博客
08-17 729
文章目录引言一、Batch Normalization概念1. Batch Normalization的计算方式二、PyTorch中的Batch Normalization三、常见的Normalization方法1.Batch Normalization（BN）2.Layer Normalizatoin（LN）3.Instance Normalizatoin（IN）4.Group Normalizatoin（GN）四、总结 引言   本节第一部分介绍深度学习中最重要的一个 Normalizatoin方法—B
【学习笔记】Pytorch深度学习—Normalization_layers
白桃deep_learning博客
09-04 1155
【学习笔记】Pytorch深度学习—Normalization_layers一、为什么要进行Normalization?***`Internal Covariate Shfit`***二、常见的Normalization方法——BN、LN、IN、GN三、Normalization小结 本节课的内容主要是深度学习中常见的Normalization方法，分别是BN、LN、IN、GN；主要分为3部分内容：（1）为什么要进行Normalization？（2）常见的Normalization方法——BN、LN、IN、
pytorch中的归一化函数
thy0000的博客
10-13 2937
在 PyTorch 的nn模块中，有一些常见的归一化函数，用于在深度学习模型中进行数据的标准化和归一化。这些函数用于批量归一化 (Batch Normalization) 操作。它们可以应用于一维、二维和三维数据，通常用于卷积神经网络中。批量归一化有助于加速训练过程，提高模型的稳定性。Layer Normalization 是一种归一化方法，通常用于自然语言处理任务中。它对每个样本的每个特征进行归一化，而不是对整个批次进行归一化。可用于一维数据。
instancenormalization
03-16
Instance Normalization（实例归一化）是一种用于图像处理的归一化方法，它可以将每个样本的特征值归一化到相同的范围内，从而提高模型的泛化能力和鲁棒性。与 Batch Normalization 不同的是，Instance Normalization 是对每个样本单独进行归一化，而不是对整个 batch 进行归一化。这使得 Instance Normalization 更适合于处理小批量数据和图像生成任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值