pytorch学习笔记1 - loss max

最新推荐文章于 2024-05-13 09:40:48 发布
最新推荐文章于 2024-05-13 09:40:48 发布
阅读量905 收藏
点赞数
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41043240/article/details/80257402
版权
这篇博客介绍了PyTorch中的loss函数，包括其参数如weight、size_average、ignore_index和reduce的使用。同时，文章还详细讲解了如何进行max操作，指出max函数可以返回最大值及其对应的索引，可以根据第二个参数按列或行求最大值。
摘要由CSDN通过智能技术生成

1. loss函数

https://pytorch.org/docs/stable/nn.html#loss-functions

torch.nn.CrossEntropyLoss(weight=None, size_average=True, ignore_index=-100, reduce=True)

参数：
weight (Tensor, optional) – a manual rescaling weight given to each class. If given, has to be a Tensor of size C
size_average (bool, optional) : False - sum of mibi-batch; True - average of mibi-batch.
ignore_index (int, optional) – 是否忽略某特定index对gradient的贡献，size_average = True, 忽略指定index目标的loss.
reduce (bool, optional) – False - 返回单个样本的loss， True - 按照size_average设定来计算loss

2. max


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  寻梦梦飞扬
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
PyTorch学习—12.损失函数

				
			

			

				

					柳杰的博客
				

				

					07-30
					
					934
					
				

			

		

		

			
				
文章目录一、损失函数的概念二、损失函数1.nn.CrossEntropyLoss2. nn.NLLLoss3. nn.BCELoss4. nn.BCEWithLogitsLoss5.nn.L1Loss6. nn.MSELoss
一、损失函数的概念
  损失函数：衡量模型输出与真实标签的差异。

损失函数(Loss Function)：
Loss=????(????^,????)Loss = ????(\hat???? , ????)Loss=f(y^​,y)
注：损失函数是计算一个样本。
代价函数(Cost

			
		

	



                

              
                



	

		

			

				
					
【简评】Loss Max-Pooling for Semantic Image Segmentation

				
			

			

				

					人工智能
				

				

					06-18
					
					1478
					
				

			

		

		

			
				
https://zhuanlan.zhihu.com/p/27394105



【简评】Loss Max-Pooling for Semantic Image Segmentation

ycszen
3 天前



这篇文章已经被CVPR2017收录，思想很明确，但是进行了很多数学证明，奈何数学功底不够啊，所以欢迎多多讨论交流。
本文主要解决的是semantic seg

			
		

	



                


  
              

                


	

		

			

				
					
【pytorch】模型常用函数（conv2d、linear、loss、maxpooling等）

				
			

			

				

					qq_47982709的博客
				

				

					09-17
					
					626
					
				

			

		

		

			
				
实例化网络模型，并将激活后得到的图片在tensorboard中展示。实例化网络模型，并将池化后得到的图片在tensorboard中展示。实例化网络模型，并将卷积后得到的图片在tensorboard中展示。实例化网络模型，定义损失函数和优化器（反向传播）从数据集中加载数据（batch_size=64）我们进行迭代，并记录损失值。建立最大池化层网络模型。建立2维卷积网络模型。建立激活函数网络模型。

			
		

	





	

		

			

				
					
Pytorch的torch.nn.functional.cross_entropy的ignore_index细解

				
			

			

				

					anshiquanshu的专栏
				

				

					05-13
					
					361
					
				

			

		

		

			
				
假设有两类{0:背景，1：前景}，若想在计算交叉熵时忽略背景(0)类，则可令ignore_index=0（同理忽略前景计算可设ignore_index=1）。例如我的pred是(b,2,w,h),而label索引是(b,1,w,h)的矩阵，其中只有0，1值，0值代表从pred的第0个通道选择像素值，1值代表从pred的第1个通道选择像素值。而此时我发现因为程序的错误，label矩阵中混入了一些-1值，这样正常的话是会报错的，因为pred矩阵没有-1通道。ignore_index表示计算。

			
		

	



		

			
		



	

		

			

				
					
Pytorch十九种损失函数【NLLLoss、CrossEntropyLoss、BCELoss...】

				
			

			

				

					u013250861的博客
				

				

					09-27
					
					818
					
				

			

		

		

			
				
参考资料：
Pytorch十九种损失函数的使用详解



			
		

	





	

		

			

				
					
torch.nn.CrossEntropyLoss

				
			

			

				

					得克特
				

				

					07-25
					
					979
					
				

			

		

		

			
				
交叉熵损失函数torch.nn.CrossEntropyLoss

weight (Tensor, optional): a manual rescaling weight given to each class. If given, has to be a Tensor of size C 每个类别计算损失的权重
size_average (bool, optional): Deprecated (see :attr:reduction). By default, the losses are avera

			
		

	





	

		

			

				
					
pytorch实现的YOLO-v1源代码

					
最新发布

				
			

			

				

					07-02
				

			

		

		

			
				
pytorch实现的YOLO-v1源代码pytorch实现的YOLO-v1源代码pytorch实现的YOLO-v1源代码pytorch实现的YOLO-v1源代码pytorch实现的YOLO-v1源代码pytorch实现的YOLO-v1源代码pytorch实现的YOLO-v1源代码pytorch实现的YOLO-...

			
		

	





	

		

			

				
					
Python库 | pytorch3d-0.6.1-cp39-cp39-macosx_10_9_x86_64.whl

				
			

			

				

					02-19
				

			

		

		

			
				
1. **张量操作**: PyTorch3D提供了一系列针对3D数据的张量操作，包括点云的表示、网格的构建和编辑、3D变换等，使得在GPU上进行高效计算成为可能。  2. **损失函数**: 提供了多种专为3D任务设计的损失函数，如点云...

			
		

	





	

		

			

				
					
pytorch-center-loss：Pytorch实现中心损失

				
			

			

				

					02-05
				

			

		

		

			
				
开始吧克隆此仓库并运行代码$ git clone https://github.com/KaiyangZhou/pytorch-center-loss$ cd pytorch-center-loss$ python main.py --eval-freq 1 --gpu 0 --save-dir log/ --plot 您将在终端中看到以下信息...

			
		

	





	

		

			

				
					
Focal-Loss-基于Pytorch实现Focal-Loss-附项目源码.zip

				
			

			

				

					05-28
				

			

		

		

			
				
《深度学习中的Focal Loss：基于Pytorch的实现与应用》  在深度学习领域，损失函数是模型训练的核心部分，它衡量了模型预测结果与实际标签之间的差异。传统的交叉熵损失函数在处理类别不平衡问题时可能会遇到挑战，...

			
		

	





	

		

			

				
					
Center-Loss-基于Pytorch实现Center-Loss损失函数-附项目源码.zip

				
			

			

				

					05-28
				

			

		

		

			
				
本项目重点探讨了一种特殊的损失函数——Center Loss，它在人脸识别等领域的特征学习中有着广泛的应用。Center Loss是为了解决深度学习模型在大规模类别识别中出现的类别间特征分布混乱的问题而提出的。现在，我们将...

			
		

	





	

		

			

				
					
12个必须了解的Pytorch损失函数

				
			

			

				

					新缸中之脑
				

				

					07-24
					
					379
					
				

			

		

		

			
				
我们之前说过，损失函数告诉我们模型在特定数据集上的表现如何。从技术上讲，它是通过测量预测值与实际值的接近程度来实现这一点的。当我们的模型做出的预测非常接近训练和测试数据集的实际值时，这意味着我们有一个非常稳健的模型。尽管损失函数为我们提供了有关模型性能的关键信息，但这并不是损失函数的主要功能，因为有更强大的技术来评估我们的模型，例如准确性和 F 分数。损失函数的重要性主要是在训练过程中认识到的，我们在训练中将模型的权重推向最小化损失的方向。

			
		

	





	

		

			

				
					
torch.nn.CrossEntropyLoss的相关

				
			

			

				

					zz2230633069的博客
				

				

					10-13
					
					1万+
					
				

			

		

		

			
				
 参数可以看下面


class CrossEntropyLoss(_WeightedLoss):

  def __init__(self, weight=None, size_average=True, ignore_index=-100, reduce=True):
    pass
  def forward(self, input, target):
    pass

解释:网上的一些...

			
		

	





	

		

			

				
					
[PyTorch 学习笔记] 4.2 损失函数

				
			

			

				

					张贤的博客
				

				

					09-02
					
					636
					
				

			

		

		

			
				
本章代码：

https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/loss_function_1.py
https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/loss_function_1.py


这篇文章主要介绍了损失函数的概念，以及 PyTorch 中提供的常用损失函数。
损失函数
损失函数是衡量模型输出与真实标签之间的差异。我们还经常听到.

			
		

	





	

		

			

				
					
PyTorch中的Loss Fucntion

					
热门推荐

				
			

			

				

					chenxueying1993的专栏
				

				

					06-23
					
					1万+
					
				

			

		

		

			
				
转载：http://sshuair.com/2017/10/21/pytorch-loss/PyTorch中的Loss Fucntion       深度学习中的Loss Function有很多，常见的有L1、L2、HingeLoss、CrossEntropy，其最终目的就是计算预测的f(x)f(x) 与真值 yy 之间的差别，而优化器的目的就是minimize这个差值，当loss的值稳定后，便是...

			
		

	





	

		

			

				
					
pytorch的各种loss

				
			

			

				

					猫猫与橙子的博客
				

				

					03-15
					
					7453
					
				

			

		

		

			
				
总计学习一下pytorch的各种loss函数：

目录

1.L1 loss

2.MSE Loss

3.CrossEntropy Loss

4.NLL Loss

5.Poisson Loss

6.KLDiv Loss

7.BCELoss

8.BCEwithLogitsLoss

9.MarginRanking Loss

10.HingeEmbeddingLoss

11.Multi...

			
		

	





	

		

			

				
					
损失函数简介

				
			

			

				

					weixin_46319994的博客
				

				

					02-25
					
					3991
					
				

			

		

		

			
				
损失函数的作用：衡量模型预测的好坏。

简单来说就是，损失函数就是用来表现预测与真实数据的差距程度。



令 真实值 为Y，预测值为 f(x)，损失函数为L( Y , f(x）），关系如下：



损失函数（loss funtion）是用来估量模型的预测值和真实值的不一样程度，它是一个非负实值函数。损失函数越小，模型的鲁棒性就越好。

例子：





X：门店数 Y：销量
我们会发现销量随着门店数上升而上升。于是我们就想要知道大概门店和销量的关系是怎么样的呢？

我们根据图上的点描述出一条直线：


.

			
		

	





	

		

			

				
					
pytorch中loss总结

				
			

			

				

					Fan9_的博客
				

				

					04-02
					
					4292
					
				

			

		

		

			
				
Pytorch中分类loss总结

近期在学习pytorch时，发现分类算法在输出时不写激活层如softmax激活/sigmoid激活。并且pytorch文档中除了softmax激活/sigmoid激活外，还有logsoftmax/logsigmoid。以及torch的loss函数会把激活和损失计算都整合到一起计算，给的解释是为了获得更好的数值稳定性。为了弄清这一切，进行了以下探索。并将自己涉及的...

			
		

	





	

		

			

				
					
交叉熵损失函数分类_PyTorch学习笔记——多分类交叉熵损失函数

				
			

			

				

					weixin_35129495的博客
				

				

					01-30
					
					2748
					
				

			

		

		

			
				
理解交叉熵关于样本集的两个概率分布p和q，设p为真实的分布，比如[1, 0, 0]表示当前样本属于第一类，q为拟合的分布，比如[0.7, 0.2, 0.1]。按照真实分布p来衡量识别一个样本所需的编码长度的期望，即平均编码长度(信息熵)：如果使用拟合分布q来表示来自真实分布p的编码长度的期望，即平均编码长度(交叉熵)：直观上，用p来描述样本是最完美的，用q描述样本就不那么完美，根据吉布斯不等式， ...

			
		

	





	

		

			

				
					
pytorch学习方法1-00字

				
			

			

				

					06-06
				

			

		

		

			
				
PyTorch 是一个基于 Python 的科学计算库，它可以作为 NumPy 的替代品，同时可以利用 GPU 的性能进行...总之，PyTorch 的学习需要掌握 Python 基础、PyTorch 基础、实践项目等方面，需要不断学习和实践才能真正掌握。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值