Pytorch的一些损失函数

最新推荐文章于 2024-08-03 14:24:43 发布
最新推荐文章于 2024-08-03 14:24:43 发布
阅读量1.7k 收藏 1
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39025871/article/details/121364968
版权

1.nn.MSELoss()      均方误差

计算真实值和预测值的差值平方后求和再平均       

MSE=\frac{1}{N}\sum \left ( Xi-Yi \right )^{2}

参数：reduction 维度要不要缩减，默认值mean，输出均方误差

          若reduction=sum，则输出差值平方和，不会再平均

2.nn.L1Loss()     平均绝对误差MAE

计算真实值和预测值差的绝对值之和再平均

                        

MAE=\frac{1}{N } \sum \left | Xi-Yi \right |

参数：reduction和上面一样，默认值mean，返回平均值

           若reduction=sum，则返回绝对差值和，不会再平均

 

3.RMSE  均方根差
 

对MSE再开根号
 

                                                  RMSE=\sqrt{\frac{1}{N}\sum \left ( Xi-Yi \right )^{2}}
 


                

        

        

    

  


    

      

        

            

              
                
                  域祁
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
5.深度学习 ② 常用损失函数 2）

				
			

			

				

					驽马十驾，功在不舍；锲而不舍，金石可镂。
				

				

					05-05
					
					4880
					
				

			

		

		

			
				
1.Dice Loss



			
		

	



                

              
                



	

		

			

				
					
【pytorch】损失函数的选择

				
			

			

				

					一起来学深度学习鸭的博客
				

				

					10-29
					
					267
					
				

			

		

		

			
				
（用nn.Linear直接输出即可）如果你在最后一层加了激活函数，并且也计算出。

			
		

	



                


  
              

                


	

		

			

				
					
Pytorch利用MSELoss()函数构造RMSE的代码实现

				
			

			

				

					Nancy_fairy的博客
				

				

					09-23
					
					5729
					
				

			

		

		

			
				
Pytorch基础

			
		

	





	

		

			

				
					
PyTorch 2.X 中 nn.functional.mse_loss() 函数中 reduction 参数的 “mean“ 和 “sum“ 选项的本质区别和影响

					
最新发布

				
			

			

				

					叶庭云     成为自己的光
				

				

					08-03
					
					761
					
				

			

		

		

			
				
PyTorch 2.X 中 nn.functional.mse_loss() 函数中 reduction 参数的 "mean" 和 "sum" 选项的本质区别和影响

			
		

	



		

			
		



	

		

			

				
					
PyTorch教程（8）损失函数(一)

				
			

			

				

					weixin_43229348的博客
				

				

					08-20
					
					3128
					
				

			

		

		

			
				
损失函数大致可分为两类:分类损失和回归损失。

回归函数预测数量，分类函数预测标签。
回归损失
MSE损失，L2损失
均方损失(Mean Square Error, MSE)是最常用的回归损失函数。MSE是我们的目标变量与预测值之间距离的平方和。
MSE=∑i=1n(yi−yip)2n
MSE =\frac{ \sum_{i = 1} ^n (y_i -y_i^p)^2}{n}
MSE=n∑i=1n​(yi​−yip​)2​
分类损失
参考目录
https://heartbeat.fritz.ai/5-re

			
		

	





	

		

			

				
					
pytorch初学笔记（十四）：损失函数

				
			

			

				

					CV在读
				

				

					11-30
					
					2924
					
				

			

		

		

			
				
L1损失函数： 基于逐像素比较差异，然后取绝对值。均方误差（Mean Square Error,MSE）是回归损失函数中最常用的误差，它是预测值f(x)与目标值y之间差值平方和的均值，其公式如下所示：1.2.2 参数介绍与上面的L1损失函数一样，我们可以改变reduction的值来进行对应数值的输出。

			
		

	





	

		

			

				
					
PyTorch框架学习十二——损失函数

				
			

			

				

					qq_40467656的博客
				

				

					08-22
					
					1054
					
				

			

		

		

			
				
PyTorch框架学习十二——损失函数一、损失函数的作用二、18种常见损失函数简述1.L1Loss（MAE）2.MSELoss3.SmoothL1Loss4.交叉熵CrossEntropyLoss5.NLLLoss6.PoissonNLLLoss7.KLDivLoss8.BCELoss9.BCEWithLogitsLoss10.MarginRankingLoss11.HingeEmbeddingLoss12.MultiLabelMarginLoss13.SoftMarginLoss14.MultiLabel

			
		

	





	

		

			

				
					
基于pytorch的自然语言处理——损失函数

				
			

			

				

					will_jay1995的博客
				

				

					03-28
					
					331
					
				

			

		

		

			
				
文章目录前言一、意义？二、均方误差损失三、分类交叉熵损失四、交叉熵损失总结

前言
在面试题中会出现介绍损失函数并且进行对比的情况，在这本书中提到了，就简单做下介绍，反正我是不能靠这个赚钱了，但是也是一种热爱，尽力了解吧，没有人指导怕是要放弃了，没有奢望。

一、意义？
如何帮助指导训练算法通过查看数据来选择正确的参数。
二、均方误差损失
mean squared error MSE
预测值与目标值之差的平方的平均值
解决回归问题，比如平均均方误差（MAE）和均方根误差（RMSE）
三、分类交叉熵损失
用于

			
		

	





	

		

			

				
					
Pytorch 常见损失函数实现

				
			

			

				

					ssshyeong的博客
				

				

					09-25
					
					1598
					
				

			

		

		

			
				
Pytorch 常见损失函数实现1.CrossEntropyLoss()函数1.1.基本计算公式1.2.Pytorch自带计算2.Focal Loss2.1.基本计算公式基本计算表达式：2.2.Pytorch实现3.二分类Dice Loss3.1.基本计算公式3.2.Pytorch实现4.多分类Dice Loss损失函数4.1.基本计算思路4.2.Pytorch实现
1.CrossEntropyLoss()函数
1.1.基本计算公式
1.2.Pytorch自带计算
Pytorch中计算的交叉熵：

其中自带

			
		

	





	

		

			

				
					
Pytorch十九种损失函数的使用详解

				
			

			

				

					12-20
				

			

		

		

			
				
这里我们将详细探讨十九种PyTorch损失函数的使用，主要介绍其中的几种常见类型。  首先，损失函数的基本使用方式是通过`torch.nn`模块创建一个损失对象，然后传入模型的输出`output`和目标变量`target`来计算损失。...

			
		

	





	

		

			

				
					
机器学习常用损失函数小结

				
			

			

				

					zandaoguang的博客
				

				

					02-16
					
					591
					
				

			

		

		

			
				
作者：王桂波转载自：https://zhuanlan.zhihu.com/p/77686118整理：HealthAI上一篇文章我们看到了目标函数，损失函数，和代价函数的区别。在该部分我们...

			
		

	





	

		

			

				
					
pytorch-常见的损失函数

				
			

			

				

					锋年的个人日志
				

				

					07-20
					
					312
					
				

			

		

		

			
				
常用的损失函数


平均绝对误差（MAE）


torch.nn.L1Loss()



均方误差（MSE）


torch.nn.MSELoss()



二元交叉熵损失函数


torch.nn.BCELoss()



包含sigmoid层的二元交叉熵损失函数


loss=torch.nn.BCEWithLogitsLoss()



交叉熵损失函数


torch.nn.CrossEntropyLoss()
分开定义softmax运算和交叉熵损失函数可能会造成数值的不稳定，pytorch提供了一.

			
		

	





	

		

			

				
					
5.深度学习 ② 常用损失函数 1）

				
			

			

				

					驽马十驾，功在不舍；锲而不舍，金石可镂。
				

				

					05-04
					
					8089
					
				

			

		

		

			
				
loss函数大全参考文件

平均绝对误差（MAE）/L1 Loss
当torch.nn.L1Loss的参数reduction选择’sum’时即为L1 loss；
当选择 ‘mean’ /'none’时，即为MAE。
KaTeX parse error: Can't use function '\]' in math mode at position 74: …_i^p} \right|} \̲]̲............

			
		

	





	

		

			

				
					
Pytorch中18种损失函数的数学原理

				
			

			

				

					微小冷的学习笔记
				

				

					04-10
					
					2277
					
				

			

		

		

			
				
xxx表示输出序列，yyy表示目标序列，rms⁡\operatorname{rms}rms表示均方根，L={l1⋯ln}L=\{l_1\cdots l_n\}L={l1​⋯ln​}。
将mini-batch译为小批。
1 L1Loss
L1=∣x−y∣
L_1=|x-y|
L1​=∣x−y∣

2 MSELoss
L=rms⁡(L1)
L=\operatorname{rms}(L_1)
L=rms(L1​)

3 CrossEntropyLoss
L=∑jyj∑iyi(−log⁡exj∑iexi)
L =\

			
		

	





	

		

			

				
					
【pytorch损失函数（4）】nn.MSELoss,（Mean Squared Error，MSE） 均方误差（MSE）（squared L2 norm，平方L2范数）。它也被称为L2 Loss。

				
			

			

				

					Hali_Botebie的博客
				

				

					05-06
					
					3483
					
				

			

		

		

			
				
它也被称为L2 Loss。上图为均方误差函数图，其中目标真值为 100，预测范围在-10000 到 10000 之间，均方 误差损失（Y 轴）在预测值（X 轴）=100 处有最小值，范围为 0~∞。可以看出梯度都与sigmoid函数的梯度有关，如下图所示，sigmoid函数在两端的梯度均接近0，这导致反向传播的梯度也很小，这就这就不利于网络训练，这就是梯度消失问题。导数变化，不稳定，尤其是在早期阶段（损失越大，导数越大），随着导数越来越小， 训练速度变得越来越慢。

			
		

	





	

		

			

				
					
深度学习中常用的损失函数(一) —— MSELoss()

					
热门推荐

				
			

			

				

					weixin_44558721的博客
				

				

					10-18
					
					1万+
					
				

			

		

		

			
				
MSELoss() 损失函数学习笔记

			
		

	





	

		

			

				
					
torch.nn 包中常用的损失函数

				
			

			

				

					niexinyu0026的博客
				

				

					11-23
					
					2392
					
				

			

		

		

			
				
torch.nn 包中常用的损失函数1、torch.nn.MSELoss：均方误差2、torch.nn.L1Loss：平均绝对误差3、torch.nn.CrossEntropyLoss ：计算交叉熵
1、torch.nn.MSELoss：均方误差
import torch
from torch.autograd import Variable
loss_f = torch.nn.MSELoss()  #不用传入任何参数

'''随机生成两个维度都是（100,100）的参数'''
x = Variable(t

			
		

	





	

		

			

				
					
(三)pytorch中损失函数

				
			

			

				

					qq_23123181的博客
				

				

					04-11
					
					5875
					
				

			

		

		

			
				
损失函数可以分为三类：回归损失函数、分类损失函数和排序损失函数

1、L1 loss

计算实际值和预测值之间的绝对值之和的平均值。



y表示标签，pred表示预测值。（回归问题），当目标变量的分布具有异常值时，即与平均值相差很大的值，它被认为对异常值具有很好的鲁棒性。


import torch
def lossTest():
    input=torch.randn(3,5,requires_grad=True)
    target=torch.randn(3,5)
    mae_loss=

			
		

	





	

		

			

				
					
pytorch自定义损失函数

				
			

			

				

					10-01
				

			

		

		

			
				
在PyTorch中，我们可以通过自定义函数定义自己的损失函数。自定义损失函数的步骤如下：  1. 创建一个函数，该函数输入为模型的预测值和真实值。函数的返回值是一个标量，表示损失值。  ```python def custom_loss...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值