感知损失（perceptual loss）详解

最新推荐文章于 2023-12-22 20:39:00 发布
最新推荐文章于 2023-12-22 20:39:00 发布
阅读量1.9w 收藏 39
点赞数 8
分类专栏： 深度学习知识点笔记 文章标签： 感知损失（perceptual loss）详解

文章目录

一、感知损失

在这里插入图片描述

图中：
	蓝线加黑线表示内容损失，作用在较低特征层上
	红线和黑线表示风格损失，作用在从低到高所有特征层上

在这里插入图片描述
这个结构和 GAN 较为相似

左边是Transform Net: fw，起着条件生成器的作用， pix2pix GAN 的生成器就也这个网络。

右边是Loss Network，一个固定参数的 pretrained VGG-16，可以类比为GAN的判别器，都是通过自己的 Loss 来引导生成器。

与GAN不同的地方有：


                

                
                
        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  南淮北安
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    8
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    39
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  2
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
【损失函数：3】感知损失：Perceptual Loss、总变分损失（TV Loss）（附Pytorch实现）

				
			

			

				

					NorthSmile的博客
				

				

					09-28
					
					1万+
					
				

			

		

		

			
				
提出感知损失的概念，用于实时超分辨任务和风格迁移任务，后来也被应用于更多的领域，在图像去雾方向也有不少工作使用到了感知损失，所以这里就细看一下感知损失具体是什么，该如何构造（说个题外话：我之前做实验，用VGG提取特征构造感知损失狂爆内存，然后直接放弃了，都怪设备太垃圾啊！！！）。

			
		

	



                

              
                



	

		

			

				
					
信噪比matlab代码详解-Perceptual-Loss-Function-Model:感知损失功能模型

				
			

			

				

					05-26
				

			

		

		

			
				
信噪比matlab代码详解评估基于感知的语音增强损失 请在这里找到引用论文和脚本的脚本。 在此存储库中，我们提供用于训练/验证数据准备（包括感知加权滤波器的幅度响应），网络训练/验证（包括感知加权滤波器损耗和...

			
		

	



                


  
              

                


	

		

			

				
					
图像风格化——感知损失（perceptual loss）(2016)

				
			

			

				

					studyeboy的专栏
				

				

					07-16
					
					8032
					
				

			

		

		

			
				
[paper]Perceptual Losses for Real-Time Style Transfer and Super-Resolution(2016)
Perceptual Losses for Real-Time Style Transfer and Super-Resolution:Supplementary Material
《Loss Functions for Image Restoration with Neural Networks》中对图像复原任务中的损失函数进行了比较，指出了L2

			
		

	





	

		

			

				
					
生成模型--感知损失(Perceptual Loss)

				
			

			

				

					wydbyxr的博客
				

				

					10-29
					
					1万+
					
				

			

		

		

			
				
感知损失(Perceptual Loss)
  用于GAN网络生成。Perceptual Loss的出现证明了一个训练好的CNN网络的feature map可以很好的作为图像生成中的损失函数的辅助工具。
  GAN可以利用监督学习来强化生成网络的效果。其效果的原因虽然还不具可解释性，但是可以理解为可以以一种不直接的方式使生成网络学习到规律。
应用中的perceptual loss
  图像风格转换...

			
		

	



		

			
		



	

		

			

				
					
损失函数——感知损失（Perceptual Loss）

					
热门推荐

				
			

			

				

					weixin_50752408的博客
				

				

					03-15
					
					1万+
					
				

			

		

		

			
				
例如，VGG-19网络中的卷积层可以提取图像的纹理和结构信息，而网络的全连接层可以提取图像的语义信息。感知损失的计算方式通常是将输入图像和目标图像分别通过预训练的神经网络，得到它们在网络中的特征表示。与传统的均方误差损失函数（Mean Square Error，MSE）相比，感知损失更注重图像的感知质量，更符合人眼对图像质量的感受。其中，x 是输入图像，y 是目标图像，Fi​(x) 和 Fi​(y) 分别表示它们在预训练的神经网络中的第 i 层的特征表示，N 是特征层数。然后我们创建了损失函数。

			
		

	





	

		

			

				
					
Perceptual Loss（感知损失）&Perceptual Losses for Real-Time Style Transferand Super-Resolution论文解读

				
			

			

				

					qq_40962125的博客
				

				

					01-10
					
					3956
					
				

			

		

		

			
				
感知损失通过一个固定的网络（VGG16,VGG19..），分别用prediction 和 groundtruth作为VGG16输入， 得到对应的输出特征，pre-vgg，gt-vgg。注：往往pre-loss（感知损失）为正则项，需要配合其他损失函数进行指导，可以通过自定参数调节感知损失的惩罚（调节）力度。在提取特征时，通常不会只使用一层的特征，而是使用网络中浅层，中层，深层特征，进行组合。2.送入prediction和ground truth分别通过VGG前向，并得到pre-vgg，gt-vgg。

			
		

	





	

		

			

				
					
深度学习从入门到精通——感知损失

				
			

			

				

					swpucwf的博客
				

				

					12-04
					
					4191
					
				

			

		

		

			
				
Perceptual Losses感知损失
感知损失
图像转换问题（image transformation tasks），输入一副图像转换成另一幅图像输出。现有方法来解决的图像转换问题，往往以监督训练的方式，训练一个前向传播的网络，利用的就是图像像素级之间的误差。这种方法在测试的时候非常有效，因为仅仅需要一次前向传播即可。但是，像素级的误差没有捕获输出和ground-truth图像之间的感知区别（perceptual differences）。
高质量的图像可以通过定义和优化perceptual loss

			
		

	





	

		

			

				
					
SROBB_ Targeted Perceptual Loss for Single Image Super-Resolution.pdf

				
			

			

				

					09-08
				

			

		

		

			
				
使用使用目标感知损失函数实现图像超分辨率重建

			
		

	





	

		

			

				
					
style_transfer-perceptual_loss-master

				
			

			

				

					12-21
				

			

		

		

			
				
style_transfer-perceptual_loss-master 风格迁移代码

			
		

	





	

		

			

				
					
matlab均方误差的代码-Perceptual-Weighting-Filter-Loss:语音增强DNN训练的感知加权滤波器损失

				
			

			

				

					05-23
				

			

		

		

			
				
matlab均方误差的代码感知加权滤波器损失 请在这里找到引用本文的脚本。 在此存储库中，我们提供用于训练/验证数据准备（包括感知加权滤波器的幅度响应），网络训练/验证（包括建议的感知加权滤波器损失），网络推理...

			
		

	





	

		

			

				
					
Perceptual Digital Imaging Methods and Applications

				
			

			

				

					12-04
				

			

		

		

			
				
perceptual digital imaging has become an important and rapidly developing research field. It greatly enhances the capabilities of traditional imaging methods, and numerous commercial products ...

			
		

	





	

		

			

				
					
基于感知损失的改进深度卷积神经网络图像去噪新算法

				
			

			

				

					RrS_G的博客
				

				

					06-26
					
					1310
					
				

			

		

		

			
				
目录一、算法1.1、网络结构1.2、联合损失函数1.2.1、均方损失 1.2.2、感知损失 二、实验结果         设X表示干净图像，N表示均匀偏差为σ的高斯白噪声，则噪声图像模型定义如下：MP-DCNN的目的是去除噪声图像中的噪声，并尽可能保留图像的边缘信息。联合损失函数的数学表达式为： 其中，右边第一项和第二项分别表示逐像素比较和语义特征比较的损失函数。联合损失函数的实现过程如图3所示。噪声图像Y作为模型的输入，与其他去噪方法不同的是，它们的判别去噪模型是学习映射函数f(Y) = X来估计潜在的干

			
		

	





	

		

			

				
					
感知损失：Perceptual Loss

				
			

			

				

					TernYoung的博客
				

				

					12-22
					
					505
					
				

			

		

		

			
				
【代码】感知损失：Perceptual Loss。

			
		

	





	

		

			

				
					
perpetual loss的定义和作用

				
			

			

				

					github_38818603的博客
				

				

					09-04
					
					583
					
				

			

		

		

			
				
https://www.jianshu.com/p/58fd418fcabf

			
		

	





	

		

			

				
					
MM2018/风格迁移-Style Separation and Synthesis via Generative Adversarial Networks通过生成性对抗网络进行风格分离和合成

				
			

			

				

					ssshyeong的博客
				

				

					04-15
					
					495
					
				

			

		

		

			
				
在本文中，我们提出了风格分离和合成生成对抗网络（S3-GAN），以同时实现特定类别的对象照片的风格分离和风格合成。基于目标照片位于流形上，且内容和样式独立的假设，我们使用S3-GAN在流形和潜在向量空间之间建立映射，以分离和合成内容和样式。S3-GAN由编码器网络、生成器网络和对抗网络组成。

			
		

	





	

		

			

				
					
perceptual loss(感知loss)介绍

				
			

			

				

					Arthur_Holmes的博客
				

				

					08-10
					
					1158
					
				

			

		

		

			
				
1.介绍
    在讲感知损失函数之前，我们先讲一下，网络所提取到的特征代表什么，在下图中，layer1,layer2学到的是边缘，颜色，亮度等底层的特征；layer3开始变得复杂，学到的是纹理的特征，Layer4则学到的是一些有区别性的特征，Layer5学到的特征是比较完整的，具有辨别性的关键特征。可以知道CNN学习到的特征逐渐抽象到更高级别上。

   
  &nb...

			
		

	





	

		

			

				
					
利用perceptual_loss感知损失获得更好的图片重建效果

				
			

			

				

					qq_37876289的博客
				

				

					05-15
					
					1750
					
				

			

		

		

			
				
利用perceptual_loss感知损失获得更好的图片重建效果
传统的MSEloss在图像重建领域会带来图像高频信息缺失的问题，导致生成的图片出现模糊。感知损失通过对卷积提取的高层信息进行比较，很好的缓解了上述问题，在此提供一个独立的perceptual_loss代码，方便初学者在训练过程中使用
def build_net(ntype,nin,nwb=None,name=None):
    if ntype=='conv':
        return tf.nn.relu(tf.nn.conv2d(

			
		

	





	

		

			

				
					
学生签到表表格.docx

					
最新发布

				
			

			

				

					06-23
				

			

		

		

			
				
学生签到表表格.docx

			
		

	





	

		

			

				
					
perceptual loss

				
			

			

				

					01-31
				

			

		

		

			
				
感知损失是一种用于深度学习中的损失函数，它被用于衡量生成模型生成的结果与真实数据之间的差异。传统的损失函数通常是基于像素级别的比较，而感知损失则以人类感知的方式来衡量生成结果的质量。

感知损失的核心思想是将生成结果与真实数据在感知空间中进行比较，而不是直接比较像素值。为了实现这一点，通常会使用预训练的卷积神经网络（如VGG网络）将生成结果和真实数据在中间层进行特征提取，然后比较提取到的特征。

通过使用感知损失，生成模型可以更好地学习到图像的语义信息，而不仅仅是基于像素级别的细节。例如，在图像生成任务中，生成模型可以学习到物体的形状、纹理、风格等重要特征。这样一来，生成的结果更加真实、逼真，更符合人类感知。

感知损失的另一个优点是它可以减少传统像素级损失函数中的一些问题。例如，传统的损失函数容易受到噪声干扰和图片变形的影响，而感知损失则更加稳健，能够忽略一些无关的细节。此外，感知损失也可以帮助解决"模式崩溃"现象，即生成模型在处理复杂图像时容易产生的一些重复或不合理的模式。

综上所述，感知损失在深度学习中起到了关键作用，它通过以人的感知方式来衡量生成结果的质量，提高了生成模型的性能和输出质量。这使得感知损失成为了许多图像生成任务的重要组成部分。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值