pytorch | 利用batch normalization对Variable进行normalize/instance normalize

最新推荐文章于 2024-05-23 12:38:51 发布
最新推荐文章于 2024-05-23 12:38:51 发布
阅读量3.5w 收藏 17
点赞数 4
分类专栏： pytorch 文章标签： pytorch batch-norm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014722627/article/details/68947016
版权

天啦噜！！我发现更新的pytorch已经有instance normalization了！！
不用自己折腾了！！
-2017.5.25

利用 nn.Module 里的 子类 _BatchNorm (在torch.nn.modules.batchnorm中定义），可以实现各种需求的normalize。
这里写图片描述
在docs里，可以看到，有3种normalization layer，但其实他们都是继承了_BatchNorm这个类的，所以我们看看BatchNorm2d，就可以对其他的方法举一反三啦~

先来看看文档
这里写图片描述

不清楚没关系，接下来用例子讲解：
创建一个BatchNorm2d的实例的方法如下


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  jdefla
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    4
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    17
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  5
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
PyTorch学习—18.标准化—Batch Normalization、Layer Normalizatoin、Instance Normalizatoin、Group Normalizatoin

				
			

			

				

					柳杰的博客
				

				

					08-17
					
					775
					
				

			

		

		

			
				
文章目录引言一、Batch Normalization概念1. Batch Normalization的计算方式二、PyTorch中的Batch Normalization三、常见的Normalization方法1.Batch Normalization（BN）2.Layer Normalizatoin（LN）3.Instance Normalizatoin（IN）4.Group Normalizatoin（GN）四、总结
引言
  本节第一部分介绍深度学习中最重要的一个 Normalizatoin方法—B

			
		

	



                

              
                



	

		

			

				
					
pytorch中的l2_normalize函数

				
			

			

				

					weixin_46474546的博客
				

				

					10-22
					
					4952
					
				

			

		

		

			
				
pytorch_l2_normalize.py
import torch
import tensorflow as tf

########## PyTorch Version 1 ################
x = torch.randn(5, 6)
norm_th = x/torch.norm(x, p=2, dim=1, keepdim=True)
norm_th[torch.isnan(norm_th)] = 0 # to avoid nan

########## PyTorch Versi

			
		

	



                


  
              

                


	

		

			

				
					
PyTorch中的.eval()方法：模型评估的幕后英雄

				
			

			

				

					chen的博客
				

				

					05-23
					
					531
					
				

			

		

		

			
				
eval()

			
		

	





	

		

			

				
					
Pytorch：深度学习中的Normalization

				
			

			

				

					qq_44817900的博客
				

				

					08-23
					
					1342
					
				

			

		

		

			
				
但是神经网络有多层，如果数据经过一层后都发生了数据分布的改变，就不能保证这个网络的高效性，这就是ICS问题，而深度学习中的Normalizaiton就是解决这个问题。假设是对一个全连接的网络层的输出做batch norm，此层的输出有五个神经元五个特征，每个特征的维度是1，然后这个batch是3。此部分通过1d的方式来验证BN的计算方式，batch中的数据也模拟成和上1d图一致。假设对3d卷积层的输出做batch norm，此卷积层输出的特征图大小是3。2大小，且一个层有3个卷积核，所以有3个特征图。

			
		

	



		

			
		



	

		

			

				
					
pytorch中的batch_norm, instance_norm, layer_norm, group_norm

				
			

			

				

					Gig_Face的博客
				

				

					08-12
					
					1574
					
				

			

		

		

			
				
1 BatchNorm

1.1 实现

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

http://d2l.ai/chapter_convolutional-modern/batch-norm.html?highlight=batchnorm2d










    import torch
    import torch.nn.functi...

			
		

	





	

		

			

				
					
pytorch实现L2和L1正则化regularization的方法

					
热门推荐

				
			

			

				

					AI吃大瓜的博客
				

				

					03-14
					
					11万+
					
				

			

		

		

			
				
pytorch实现L2和L1正则化的方法

目录

目录

pytorch实现L2和L1正则化的方法

1.torch.optim优化器实现L2正则化

2. 如何判断正则化作用了模型？

2.1 未加入正则化loss和Accuracy

2.1 加入正则化loss和Accuracy

2.3 正则化说明

3.自定义正则化的方法

3.1 自定义正则化Regularization类

3.2...

			
		

	





	

		

			

				
					
pytorch的batch normalize使用详解

				
			

			

				

					09-18
				

			

		

		

			
				
今天小编就为大家分享一篇pytorch的batch normalize使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

			
		

	





	

		

			

				
					
conditional_batch_normalization:有条件批处理规范化Pytorch的实现

				
			

			

				

					05-18
				

			

		

		

			
				
conditional_batch_normalization  有条件批处理规范化Pytorch的实现 这是在[1]和[2]中引入的有条件批处理归一化，并在[3]中成功地应用于有条件的图像生成。  [1] Dumoulin，Vincent，Jonathon Shlens和Manjunath ...

			
		

	





	

		

			

				
					
pytorch利用LSTM实现对股票进行多变量多步预测

				
			

			

				

					09-10
				

			

		

		

			
				
在PyTorch中，利用LSTM（长短时记忆网络）进行多变量多步股票预测是一项常见的任务，它涉及金融市场的数据分析、时间序列预测以及深度学习技术。以下将详细阐述这一主题的相关知识点。  首先，我们需要理解LSTM的...

			
		

	





	

		

			

				
					
基于Multi-GPU+Pytorch同步Batch-Normalization批归一化-附项目源码-优质项目实战.zip

					
最新发布

				
			

			

				

					05-25
				

			

		

		

			
				
本项目专注于"基于Multi-GPU+PyTorch同步Batch-Normalization"的技术实践，旨在帮助开发者掌握如何在PyTorch框架下实现多GPU环境下的批归一化（Batch Normalization）同步策略，从而加速模型训练并保持模型一致性。...

			
		

	





	

		

			

				
					
pytorch实现 l2_normalize()记录, 仅一维

				
			

			

				

					qq_41854611的博客
				

				

					04-26
					
					1642
					
				

			

		

		

			
				
tensorflow 参考


epsilon=1e-12
output = x / sqrt(max(sum(x**2), epsilon))

当数据量很大时，使用python 内置的sum函数会使程序运行很慢，故 可使用 torch.sum()函数

也就是


output = x / sqrt(max(torch.sum(x**2), epsilon))


...

			
		

	





	

		

			

				
					
Pytorch_常用normalization

				
			

			

				

					liming_2464的博客
				

				

					04-17
					
					354
					
				

			

		

		

			
				
常用几种normalization:
链接1: link.
链接2: link.
normalization意义:
链接3: link.



			
		

	





	

		

			

				
					
PyTorch中的BatchNorm,LayerNorm,InstanceNorm,GroupNorm及其用法

				
			

			

				

					qq_39749966的博客
				

				

					01-04
					
					181
					
				

			

		

		

			
				
PyTorch 四种Normlization

			
		

	





	

		

			

				
					
pytorch  之  nn.BatchNorm2d(oup)( 100 )

				
			

			

				

					xk_snail的专栏
				

				

					04-19
					
					2万+
					
				

			

		

		

			
				
先看看解释。。。。。然后。。。我的疑惑在于：网络片段：nn.Conv2d(inp, oup, 3, stride, 1, bias=False),
nn.BatchNorm2d(oup),
nn.ReLU(inplace=True),我打印model的parameters来查看参数：打印的为：0.conv.0.weight ： torch.Size([32, 3, 3, 3])
0.conv.1....

			
		

	





	

		

			

				
					
pytorch学习笔记（二十七）：Batch-Norm

				
			

			

				

					逐梦er的博客
				

				

					08-06
					
					2929
					
				

			

		

		

			
				
文章目录前言1. 批量归一化层1.1 对全连接层做批量归一化1.2 对卷积层做批量归一化1.3 预测时的批量归一化2. 从零开始实现2.1 使用批量归一化层的LeNet3. 简洁实现小结
前言
本节我们介绍 批量归一化（batch normalization）层，它能让较深的神经网络的训练变得更加容易 。
通常来说，数据标准化预处理对于浅层模型就足够有效了。随着模型训练的进行，当每层中参数更新时，靠近输出层的输出较难出现剧烈变化。但对深层神经网络来说，即使输入数据已做标准化，训练中模型参数的更新依然很容易造

			
		

	





	

		

			

				
					
pytorch 与 BatchNormalization

				
			

			

				

					smallflyingpig的专栏
				

				

					12-21
					
					8072
					
				

			

		

		

			
				
BatchNormallization是神经网络中的一个正则化技术，可以加速网络的收敛，并且在一定程度上解决深度网络“梯度弥散”的问题。它本是数据预处理的一种方法，google的研究人员将它应用在了神经网络中。论文地址：https://arxiv.org/abs/1502.03167 理论pytorch batch normalization:

			
		

	





	

		

			

				
					
PyTorch学习之归一化层（BatchNorm、LayerNorm、InstanceNorm、GroupNorm）

				
			

			

				

					mingo_敏
				

				

					12-18
					
					10万+
					
				

			

		

		

			
				
BN，LN，IN，GN从学术化上解释差异：
BatchNorm：batch方向做归一化，算NHW的均值
LayerNorm：channel方向做归一化，算CHW的均值
InstanceNorm：一个channel内做归一化，算H*W的均值
GroupNorm：将channel方向分group，然后每个group内做归一化，算(C//G)HW的均值

...

			
		

	





	

		

			

				
					
Pytorch之归一化层(BatchNorm、LayerNorm、InstanceNorm、GroupNorm)

				
			

			

				

					lzn025的博客
				

				

					03-05
					
					2315
					
				

			

		

		

			
				
BN，LN，IN，GN从学术化上解释差异：
BatchNorm：batch方向做归一化，算NHW的均值，对小batchsize效果不好；BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布
LayerNorm：channel方向做归一化，算CHW的均值，主要对RNN作用明显；
InstanceNorm：一个channel内做归一化，算H*W的均值，用在风格化迁移；因为在图像风格化中，生成结果主要

			
		

	





	

		

			

				
					
pytorch 如何用batch normalize

				
			

			

				

					09-01
				

			

		

		

			
				
在PyTorch中使用批归一化（Batch Normalization）有几个步骤。

首先，需要导入必要的模块：
```
import torch
import torch.nn as nn
```

然后，我们可以通过创建一个`nn.BatchNorm2d`层来应用批归一化。对于图像数据，可以使用`nn.BatchNorm2d`，对于序列数据，可以使用`nn.BatchNorm1d`。

```python
batch_norm = nn.BatchNorm2d(num_features)
```

这里的`num_features`是输入数据的通道数。

接下来，我们可以将`nn.BatchNorm2d`层应用到模型的某一层上。例如，如果我们有一个卷积层`conv`，我们可以将批归一化层应用在其输出上：

```python
conv_bn = nn.Sequential(
    conv,
    batch_norm
)
```

这样，输出数据就会通过批归一化层进行归一化处理。

如果我们想要在训练过程中更新批归一化层的参数，可以使用`nn.BatchNorm2d`的默认参数，将`track_running_stats`设置为`True`。这样，在每个批次的归一化过程中，会更新均值和方差。

```python
batch_norm = nn.BatchNorm2d(num_features, track_running_stats=True)
```

最后，在模型的前向传播过程中，将输入数据传递给`nn.BatchNorm2d`层即可：

```python
output = conv_bn(input)
```

以上就是使用PyTorch进行批归一化的基本步骤。通过批归一化，我们可以加速训练过程，减少模型对输入数据分布的敏感性，并且有助于提高模型的鲁棒性。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 5

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值