Pytorch 之torch.nn进阶第1关：正则化

最新推荐文章于 2024-04-30 13:59:45 发布
最新推荐文章于 2024-04-30 13:59:45 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： educoder人工智能答案 文章标签： 深度学习 pytorch 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hacker_zrq/article/details/127166959
版权

经过“ Pytorch 之 torch.nn初探“ 实训的学习，想必同学们对torch.nn有了一个初步的认识。接下来，本实训将介绍更多内容帮助同学们运用神经网络的特性。

任务描述

本关任务：

本关提供了一个Variable 类型的变量input，要求利用BatchNorm1d创建一个4维的 带有学习参数的正则化量 m，并输出其weight和bias。

相关知识

正则化项即罚函数，该项对模型向量进行“惩罚”，从而避免单纯最小二乘问题的过拟合问题。在本节中，我们将介绍正则化方面的知识，这有助于预防过拟合的问题的产生。

首先，先引入我们要使用的包

 

    
 
  1. import torch
    2. 
 
  2. import torch.nn
    3. 
 
  3. from torch.autograd import Variable
    4. 

 

BatchNorm
 


 
  

   BatchNorm
   描述
  

 
 
  

   BatchNorm1d
   将2维或3维的输入视为mini-batch，应用 Batch 正则化
  

  

   BatchNorm2d
   将4维的输入视为3维的mini-batch，应用 Batch 正则化
  

  

   BatchNorm3d
   将5维的输入视为4维的mini-batch，应用 Batch 正则化
  

  

   下面以
  

 


                

        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  ad_m1n
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
Pytorch基础学习（第六章-Pytorch的正则化）

				
			

			

				

					Billie使劲学的博客
				

				

					04-03
					
					3258
					
				

			

		

		

			
				
课程一览表：





目录

一、正则化之weight_decay

1.正则化与方差、偏差、噪声的概念

2.正则化策略（L1、L2）

3.pytorch中的L2正则项——weight decay

二、Bacth Normalization

1.Batch Normalization概念

2.Pytorch的Batch Normalization 1d/2d/3d实现

三、Normalization_layers

1.为什么要Normalization？

2.常见的Normalizatio

			
		

	



                

              
                



	

		

			

				
					
【Pytorch】torch.nn.functional.normalize 的正则化

				
			

			

				

					anshiquanshu的专栏
				

				

					03-10
					
					2117
					
				

			

		

		

			
				
本质
torch.nn.functional.normalize(input,p=2,dim=1,eps=1e-12,out=None)



本质上就是按照某个维度计算范数，p表示计算p范数（等于2就是2范数），dim计算范数的维度（这里为1，一般就是通道数那个维度）

官方参考
官方api：https://pytorch.org/docs/stable/nn.html#normalize

源码：


def normalize(input, p=2, dim=1, eps=1e-12, ou...

			
		

	



                


  
              

                


	

		

			

				
					
关于 PyTorch 中的正则化有哪些方法，它们分别适用于什么情况？

				
			

			

				

					coszhuang的博客
				

				

					04-30
					
					719
					
				

			

		

		

			
				
在深度学习中，模型的过拟合是一个常见的问题，为了解决这个问题，我们可以使用正则化技术。正则化通过添加额外的惩罚项来限制模型的复杂度，以减少模型对噪声的敏感性，从而提高泛化能力。弹性网络正则化是 L1 正则化和 L2 正则化的结合，同时对模型的权重绝对值和平方进行惩罚。弹性网络正则化综合了 L1 正则化和 L2 正则化的优势，适用于需要综合考虑特征选择和防止过拟合的任务。需要注意的是，为了使用正则化，通常需要有足够的训练数据和合适的超参数选择，以充分发挥正则化的作用。是正则化系数，用来控制正则化的强度。

			
		

	





	

		

			

				
					
pytorch手动加入正则

				
			

			

				

					qq_40929402的博客
				

				

					06-16
					
					4577
					
				

			

		

		

			
				
1.Pytorch自带的加正则化方法
Pytorch的优化器都自带正则化，比如
 optimizer = optim.Adam(model.parameters(),lr=learning_rate,weight_decay=0.01)
 optimizer = optim.SGD(model.parameters(), lr=learing_rate, momentum=0.9,weight_decay=0.01)

其中的weight_decay就是正则化系数，设定为0或者不设定就是无正则化。但这个优化

			
		

	



		

			
		



	

		

			

				
					
Pytorch：正则化（L1、L2、Dropout）与归一化（BN、LN、IN、GN）

				
			

			

				

					weixin_47255403的博客
				

				

					12-10
					
					1158
					
				

			

		

		

			
				
这次内容首先是正则化，正则化是一种缓解模型的过拟合问题的策略，我们学习了L2正则的原理，L1正则和L2正则的区别，然后学习了L2正则等价于权重衰减。 然后又学习了Dropout正则化，并且对比了一下L2正则和Dropout正则的效果。

第二部分是标准化，这主要是解决网络层输出的数据尺度变化不一致的问题， 首先学习了Batch Normalization，学习了它的原理和具体的使用方法，然后又介绍了其他三种标准化方法， LayerNorm Normalization、Instance Normalizati

			
		

	





	

		

			

				
					
pytorch 正则化公式推导+实现+Adam优化器源码以及weight decay的设置

				
			

			

				

					goodgoodstudy___的博客
				

				

					11-15
					
					1万+
					
				

			

		

		

			
				
1.为什么要进行正则化？怎么正则化？
pytorch —— 正则化之weight_decay
上文简述：
误差可分解为偏差，方差与噪声之和，即 误差=偏差+方差+噪声 之和；
偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；
方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；
噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界；
正则化策略的目的就是降低方差，减小过拟合的发生。


对于L2norm：

因为公式中存在

因

			
		

	





	

		

			

				
					
基于Python下，torch和手动实现前馈神经网络实验代码

				
			

			

				

					08-23
				

			

		

		

			
				
内容包含详细注释 代码中有数据集的下载程序: ...多分类实验torch.nn实现Dropout和多分类实验torch.optim实现L2范数正则化； 对多分类任务中的模型评估隐藏层层数和隐藏单元个数对实验结果的影响；

			
		

	





	

		

			

				
					
Pytorch 实现回归.zip

				
			

			

				

					01-22
				

			

		

		

			
				
PyTorch以其灵活性和易用性成为了深度学习研究者和开发者们的首选工具之一。本教程将深入探讨如何在PyTorch中构建一个简单的线性回归模型，并将其应用于实际数据集。  首先，我们需要导入必要的库，包括PyTorch本身...

			
		

	





	

		

			

				
					
PyTorch：深度学习的革命性框架.zip

				
			

			

				

					03-12
				

			

		

		

			
				
5. **优化和正则化**：包括不同的优化器、学习率调度策略以及正则化方法，如L1、L2范数和Dropout。 6. **评估和验证**：如何计算模型的准确率、损失，以及验证集上的性能。 7. **部署**：将训练好的模型部署到生产...

			
		

	





	

		

			

				
					
“精确：如何训练你的准确性”的原始PyTorch实现.zip

				
			

			

				

					04-15
				

			

		

		

			
				
9. **模型调优**：包括超参数搜索、正则化（如 L1、L2 正则化）、Dropout、Batch Normalization 等技术，以提高模型的泛化性能。  10. **学习率调度**：学习率随着训练进行逐渐减小，可以使用预设策略（如 `StepLR`,...

			
		

	





	

		

			

				
					
Pytorch-pytorch深度学习教程之双向循环网络.zip

					
最新发布

				
			

			

				

					05-22
				

			

		

		

			
				
在深度学习领域，PyTorch是一个非常流行的开源框架，它为构建和训练复杂的神经网络提供了极大的便利。本教程重点探讨的是PyTorch中双向循环神经网络（Bidirectional Recurrent Neural Networks, BRNN）的应用和实现...

			
		

	





	

		

			

				
					
头歌-Pytorch 之torch.nn进阶

				
			

			

				

					qq_54195994的博客
				

				

					10-22
					
					445
					
				

			

		

		

			
				
【代码】Pytorch 之torch.nn进阶。

			
		

	





	

		

			

				
					
Pytorch 之torch.nn初探第3关：非线性--Nonlinearities

				
			

			

				

					admin的博客
				

				

					10-05
					
					1064
					
				

			

		

		

			
				
在实际应用中，非线性模型往往比线性模型更加适用，而torch.nn中也提供了许多非线性模型供大家使用。让我们一起来看一看吧！

			
		

	





	

		

			

				
					
Pytorch基础（八）——正则化

				
			

			

				

					baidu_35536188的博客
				

				

					12-12
					
					2359
					
				

			

		

		

			
				
一、概念
正则化在深度学习领域是为了防止训练结果过拟合而采取的一种方法。

			
		

	





	

		

			

				
					
PyTorch NN 常用函数

				
			

			

				

					mmm305658979的博客
				

				

					03-18
					
					2761
					
				

			

		

		

			
				
1维卷积

>>> input (batch, in_channel, length) --> filters (out_channel, in_channel, kernel_size)
>>> torch.nn.functional.conv1d(inputs, filters)

2维卷积

>>> input (batch, in...

			
		

	





	

		

			

				
					
pytorch实现L2和L1正则化regularization的方法

					
热门推荐

				
			

			

				

					AI吃大瓜的博客
				

				

					03-14
					
					11万+
					
				

			

		

		

			
				
pytorch实现L2和L1正则化的方法

目录

目录

pytorch实现L2和L1正则化的方法

1.torch.optim优化器实现L2正则化

2. 如何判断正则化作用了模型？

2.1 未加入正则化loss和Accuracy

2.1 加入正则化loss和Accuracy

2.3 正则化说明

3.自定义正则化的方法

3.1 自定义正则化Regularization类

3.2...

			
		

	





	

		

			

				
					
pytorch —— 正则化之weight_decay

				
			

			

				

					然后就去远行
				

				

					06-15
					
					1万+
					
				

			

		

		

			
				
1、正则化与偏差-方差分解
1.1 Regularization
Regularization：减小方差的策略；
误差可分解为偏差，方差与噪声之和，即误差=偏差+方差+噪声之和；
偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；
方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；
噪声则表达了在当前任务上任何学习算法所能达到的期...

			
		

	





	

		

			

				
					
tensorflow学习笔记（三十八）:损失函数加上正则项

				
			

			

				

					Keith
				

				

					04-20
					
					4万+
					
				

			

		

		

			
				
tensorflow Regularizers在损失函数上加上正则项是防止过拟合的一个重要方法,下面介绍如何在TensorFlow中使用正则项.tensorflow中对参数使用正则项分为两步: 
1. 创建一个正则方法(函数/对象) 
2. 将这个正则方法(函数/对象),应用到参数上如何创建一个正则方法函数tf.contrib.layers.l1_regularizer(scale, scope=N

			
		

	





	

		

			

				
					
Pytorch 正则化方法（权重衰减和Dropout）

				
			

			

				

					负负得正的博客
				

				

					04-16
					
					2847
					
				

			

		

		

			
				
正则化方法（权重衰退和Dropout）
正则化方法和以前学过的正则表达式没有任何关系！
花书 p141 说到：

能显式地减少测试误差（可能会以增大训练误差为代价）的方法都被称为正则化。

0. 环境介绍
环境使用 Kaggle 里免费建立的 Notebook
教程使用李沐老师的 动手学深度学习 网站和 视频讲解
小技巧：当遇到函数看不懂的时候可以按 Shift+Tab 查看函数详解。
1. 权重衰减
权重衰减是正则化方法之一，权重衰减通过 L2 正则项使得模型参数不会过大，减少噪声的影响，从而控制模型复杂

			
		

	





	

		

			

				
					
loss_function=torch.nn.CrossEntropyLoss正则化代码

				
			

			

				

					06-06
				

			

		

		

			
				
在PyTorch中，可以使用weight_decay参数来实现L2正则化。同时，由于CrossEntropyLoss已经包含了Softmax操作，因此不需要在模型中额外添加Softmax层。

下面是一个使用CrossEntropyLoss和L2正则化的例子：

```python
import torch
import torch.nn as nn
import torch.optim as optim

# 定义模型
class MyModel(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(MyModel, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size)
        self.fc2 = nn.Linear(hidden_size, output_size)
        
    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 定义超参数
input_size = 10
hidden_size = 20
output_size = 5
learning_rate = 0.01
weight_decay = 0.001
epochs = 10

# 创建模型和优化器
model = MyModel(input_size, hidden_size, output_size)
optimizer = optim.SGD(model.parameters(), lr=learning_rate, weight_decay=weight_decay)
loss_fn = nn.CrossEntropyLoss()

# 准备数据
X = torch.randn(100, input_size)
y = torch.randint(0, output_size, (100,))

# 训练模型
for epoch in range(epochs):
    # 前向传播和计算损失
    logits = model(X)
    loss = loss_fn(logits, y)
    
    # 反向传播和更新参数
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    
    # 打印训练信息
    if epoch % 1 == 0:
        print("Epoch [{}/{}], Loss: {:.4f}".format(epoch+1, epochs, loss.item()))
```

在这个例子中，我们将L2正则化的超参数设为0.001，即weight_decay=0.001。在优化器中使用weight_decay参数即可实现L2正则化。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
ad_m1n

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值