解析PEN_NET(基于金字塔式图像修复)——损失函数(感知损失,风格损失,

本文深入解析PEN_NET图像修复项目中的损失函数,包括传统的MSE损失、感知损失(使用VGG19的L1损失)和风格损失(通过格拉姆矩阵计算特征差异)。此外,还介绍了对抗损失在GAN结构中的应用,以提升图像修复的质量和细节表现。
摘要由CSDN通过智能技术生成

上一篇博客我简单介绍了下基于金字塔式的图像修复
我clone了该项目,并逐步分析,本篇文章主要讲解一下这个项目的损失函数的定义

传统基于均方误差损失

从一幅缺失的图像转换到一幅修复的图像
我们最常想到的就是MSE均方误差损失

通过比较每个像素的误差,最后取平方再平均,得到一个loss损失值,并反向传播,对各个层进行梯度下降

事实上,均方误差表现的也不错,但是在一些细节,特征上缺失,造成局部的模糊

以笔者的一个简单的图像修复demo,它解码出来的图片是这样的
在这里插入图片描述
可以很明显看出基于MSE损失恢复出来的图像,在修复理发店的字体的时候表现并不是很好,那几个字母其实是很模糊的,但是大体形状是修复出来的。

感知损失

基于均方误差损失的缺陷,2016年李飞飞团队提出感知损失

该网络核心思想是这样的,即然MSE的细节特征修复的不是很好,那我就找一个预训练出来的网络来捕捉其图像的特征细节,根据生成的特征图,计算其L1损失函数,作为损失值的一部分

在该项目的代码中,作者使用的是VGG19网络,将图像都流入该网络,并将其中的relu层中的特征图拿出来进行L1loss的计算。

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值