pytorch笔记（一）归一化 BN、LN、IN、GN、SN

最新推荐文章于 2024-06-28 21:27:16 发布
最新推荐文章于 2024-06-28 21:27:16 发布
阅读量1.6k 收藏 18
点赞数 3
分类专栏： pytorch 回顾笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19707521/article/details/119397130
版权
这篇博客详细介绍了深度学习中的几种归一化技术，包括Batch Normalization(BN)、Layer Normalization(LN)、Instance Normalization(IN)、Group Normalization(GN)和Switchable Normalization(SN)。BN适用于大batch size，对小batch效果不佳；LN主要应用于RNN，归一化通道方向；IN常用于风格迁移，归一化单个样本的像素；GN将通道分组进行归一化；SN结合多种归一化方式，通过权重选择最佳方案。博客通过公式和代码实现帮助读者理解各种归一化方法，并提供了结果比较和应用场景的分析。
摘要由CSDN通过智能技术生成

概念：

  • Batch Normalization (BN):在batch上，对NHW做归一化，对小batchsize效果不好
  • Layer Normalization (LN):在通道方向上，对CHW归一化，主要对RNN作用明显
  • Instance Normalization (IN):在图像像素上，对HW做归一化，用在风格化迁移
  • Group Normalization (GN):将channel分组，然后再做归一化
  • Switchable Normalization (SN):将BN、LN、IN结合，赋予权重，让网络自己去学习归一化层

图解：

 主要公式：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
_yuki_
关注
专栏目录
订阅专栏
python系列&deep_study系列：TOCH_npu不适配报错packages/torchaudio/lib/libtorchaudio.so: undefined symbol: _ZNK5
weixin_54626591的博客
08-12 136
TOCH_npu不适配报错packages/torchaudio/lib/libtorchaudio.so: undefined symbol: _ZNK5torch8autograd4Node4n
SNGAN:Pytorch实现的“生成对抗网络的谱归一化”
05-18
SN-GAN与CIFAR10的Pytorch实现 要求 nsml 纸 运行示例 nsml run -d cifar10_python -a "--sn" # Spectralnorm nsml run -d cifar10_python # No SN nsml run -d cifar10_python -a "--sn --inception_score" # Calculate Inception score 当然，如果为nsml创建空函数，则执行python main.py会很好。 建筑学 GAN架构从CIFAR10的论文附录B.4中采用 结果 生成的图像 失利
pytorch方法测试详解——归一化(BatchNorm2d)
09-18
今天小编就为大家分享一篇pytorch方法测试详解——归一化(BatchNorm2d)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【深度之眼】【Pytorch打卡第14天】：标准化_BN、LN、IN and GN
huxw_magus的博客
08-14 810
目录任务任务名称任务简介详细说明知识点Batch Normalization 概念优点计算方式实例演示PyTorch的Batch Normalization 1d/2d/3d 实现_BatchNorm1d2d3d常见的NormalizationPytorch中的标准化方法 任务 任务名称 Batch Normalization；Layer Normalizatoin、Instance Normalizatoin和Group Normalizatoin 任务简介 学习深度学习中常见的标准化方法 详细说明 第一
pytorch使用——（十五）BN、LN、IN and GN
weixin_37799689的博客
06-02 778
一、Why Normalization 因为在深度神经网络中，数据在训练过程（前向传播）中会出出现数据尺度和分布的异常。当这些异常累积的一定程度时，就会导致训练困难。 二、 常见Normalization 1、种类 Batch Normalization（BN） Layer Normalization（LN） Instance Normalization（IN） Group Normalization（GN） 2、对比 相同： 不同：均值和方差求取方式 三、Layer Nor..
GN层（Pytorch）
weixin_40825364的博客
07-06 1472
BN层存在的问题: BN层的模型效果取决于Batch_size大小，那么我的实验分别在batch_size=4和8的情况下运行的，这些batch_size都无法让BN层真正起到作用，甚至负作用，我个人感觉4的效果比8好这就是个运气问题，BN层中的running_mean，running_var都是最后一次更新后的值，那么每一个mini_batch的影响输入都不一样，4和8也无法让这些mean和var接近真实数据集的均值方差。若我不使用BN层采用FrozenBN层（即不去更新BN层中的四个参数），但我的数据集
pytorch 归一化与反归一化实例
12-23
ToTensor中就有转到0-1之间了。 # -*- coding:utf-8 -*- import time import torch from torchvision import transforms import cv2 transform_val_list = [ # transforms.Resize(size=(160, 160), interpolation=...
PyTorch深度学习实战（8）——批归一化
盼小辉丶的博客
08-02 2705
批归一化( Batch Normalization )是一种常用的神经网络优化技术，用于在神经网络的训练过程中对每批输入进行归一化操作。它的主要目的是缓解梯度消失或梯度爆炸的问题，并且加速模型的收敛。在本节中，首先介绍批归一化的基本原理，然后通过实验观察其在网络训练过程中的重要作用。
四种归一化方法BN，LN，IN，GN的比较
qq_40268255的博客
02-04 2532
1.计算方法的不同 BatchNorm：batch方向做归一化，算NHW的均值 LayerNorm：channel方向做归一化，算CHW的均值。为了能够在只有当前一个训练实例下，找到一个合理的统计范围，一个直接的想法是：把同一个卷积层作为集合，求均值和方差；对于RNN，就是把同层隐层神经元的响应值（不同时刻）作为集合，再求均值和方差。 InstanceNorm：一个channel内做归一化，算H*...
深度学习中的归一化方法简介（BN、LN、IN、GN）
firehuiplane的博客
05-31 2658
文章目录1. 协方差偏移 1. 协方差偏移 协方差偏移： 深度网络内部数据分布在训练过程中发生变化的现象。 协方差偏移的影响： 训练深度网络的时候，神经网络隐藏层参数更新会导致网络输出层输出数据的分布发生变化，如果不做归一化，那么每层网络输入的数据分布都是不同的。随着层数的增加，根据链式法则，这种偏移现象会逐渐被放大。这对于网络参数的学习来说是一个问题，因为神经网络本质就是学习数据分布，如果数据分布变化了，神经网络不得不学习新的分布。为了保证网络参数的稳定性和收敛性，往往会选择比较小的学习率，同时参数初始化
在 PyTorch 中使用 spiking neural networks (SNN) 进行深度学习_spikingneuron
06-03
Norse 旨在利用仿生神经组件的优势，这些组件是稀疏且由事件驱动的——这是与人工神经网络的根本区别。Norse 使用仿生神经组件的原语扩展了 PyTorch，为您带来两个优势：基于 PyTorch 和深度学习兼容的脉冲神经网络组件的现代且经过验证的基础设施
BN和LN原理及Pytorch实现
dbdxwyl的博客
03-01 1222
一.概念 Batch Normalization（批标准化） 对一个batch内的所有样本的同一通道的元素进行标准化 Layer Normalization（批标准化） 对一个样本内所有通道的元素进行标准化 Instance Normalization（实例标准化） 对一个样本内对每个通道的元素分别进行标准化 Group Normalization（组标准化） 对一个样本内对几个通道的元素分别进行标准化 二.Pytorch实现 nn.BatchNorm2d(num_features)
Pytorch —— BN、LN、IN、GN
然后就去远行
06-16 1836
1、为什么要Normalization？ 深度学习中存在Internal Covariate Shift（ICS）：数据尺度/分布异常，导致训练困难； 在权值初始化部分介绍了深度神经网络训练过程中的数据尺度变化问题： H11=∑i=0nXi∗W1i\mathrm{H}_{11}=\sum_{i=0}^{n} X_{i} * W_{1 i}H11​=i=0∑n​Xi​∗W1i​D(H11)=∑i=0nD(Xi)∗D(W1i)\mathbf{D}\left(\mathrm{H}_{11}\right)=\su
GN使用笔记
Barry的博客
05-21 1万+
转自：https://www.suninf.net/2017/05/gn-usage.html之前介绍过GYP，它是Google早期用来维护chromium项目的meta-build system，GN则是用来替代GYP的工具，目前chromium及相关的开源项目都迁移到基于GN来管理。并且GN是基于C++编写，效率上比基于python的GYP快了近20倍。环境准备配置depot_tools (n...
TOCH_npu不适配报错packages/torchaudio/lib/libtorchaudio.so: undefined symbol: _ZNK5torch8autograd4Node4n
最新发布
weixin_51923349的博客
06-28 534
具体是执行这一句：bash train_full_8p.sh --stage=-1 --stop_stage=5 --data_path=/home/wutong/docker/nvme0n1/Wenet_Conformer_for_Pytorch/aishll-1/：执行环境变量(如果没有修改toolkit的安装目录就是这个)source /usr/local/Ascend/ascend-toolkit/set_env.sh。这好像是因为torch_npu和torch版本不对应，我现在的版本是。
Ubuntu 14.04 64 bit+ Torch 7 + CUDA7安装配置
热门推荐
zhiliu的专栏
09-10 1万+
本文记录了本人在配置Ubuntu 14.04 LTS + Torch7 + CUDA环境的过程，以及遇到的一些问题，简要介绍了Torch的使用。
pytorch实现BN、LN、GN
qq_35985044的博客
02-16 3035
BN实现 # coding=utf8 import torch from torch import nn # track_running_stats=False，求当前 batch 真实平均值和标准差， # 而不是更新全局平均值和标准差 # affine=False, 只做归一化，不乘以 gamma 加 beta（通过训练才能确定） # num_features 为 feature map...
pytorch图像增强
Learning by doing
11-01 4234
https://mp.weixin.qq.com/s?__biz=MzI5MDUyMDIxNA==&mid=2247491791&idx=3&sn=f7ac3864154372d9d5503397d5db6b44&chksm=ec1c0d36db6b8420c6d06f086b2bf736dd41a27e34442e6bcb836bec1d3a09d66c4ae1a...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_yuki_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值