点击下方“AI算法与图像处理”,一起进步!
重磅干货,第一时间送达
码字不易,给打工人点个赞吧。
今天分享一篇南洋理工大学&商汤科技的最新论文:
Focal Frequency Loss for Image Reconstruction and Synthesis
文章提出一种新的loss 函数,Focal Frequency Loss。目前的生气模型虽然已经有众多研究成果,但是生成的图像与真实图像依然有差距,特别是在频域 。因此,本文提出一个针对频域的loss,同时借鉴 困难样本挖掘的策略,对不同频率根据难易程度进行加权。作者通过大量的实验,证明其新loss的有效性!
https://github.com/EndlessSora/focal-frequency-loss
https://arxiv.org/pdf/2012.12821.pdf
更多 ICCV 2021 的论文和代码,以及相关的报告和解读都进行整理(欢迎star)
https://github.com/DWCTOD/ICCV2021-Papers-with-Code-Demo
摘要
由于生成模型的发展,图像重建和合成取得了显著的进展。尽管如此,真实图像和生成的图像之间仍然可能存在差距,特别是在频域。在这项研究中,我们发现缩小频域中的间隙可以进一步改善图像重建和合成质量。我们提出了一种新的 focal frequency loss ,该 loss 允许模型自适应地关注于难以合成的频率分量,通过降低容易合成的分量的权重。该目标函数是对现有空间loss的补充,对由于神经网络固有偏差而导致的重要频率信息的loss提供了很大的阻抗。我们展示了focal frequency loss的多功能性和有效性,以改进诸如VAE、pix2pix和SPADE等流行模型的感知质量和定量性能。我们进一步展示了它在StyleGAN2上的潜力。
动机
目前的图像生成模型,虽然取得了不错的进展,但是依然存在一定问题,生成的图像与真实图像之间还存在差距,特别是频域。
解决方案
首先要明确一些基本的概念
1、2D discrete Fourier transform(2维离散傅里叶变换)
2、Euler’s formula(欧拉公式)
通过欧拉公式将公式 (1)中的包含e 的部分进行一定的变换:
变换之后,即可将公式 1 拆成实部与虚部,用于后续计算 频域距离。
将公式 1 写成更加通俗易懂的方程:
amplitude:
phase:
频率距离应该考虑振幅和相位,因为它们捕获图像的不同信息。我们在图3中展示了一个单一的图像重建实验。只需最小化振幅差,就可以得到具有不规则颜色图案的重建图像。相反,仅使用相位信息,合成图像类似于噪声。只有同时考虑振幅和相位,才能实现可靠的重建。
我们的解决方案是将每个频率值映射到二维空间(即平面)中的欧几里德向量。按照复数的标准定义,实部和虚部分别对应于x轴和y轴。
同时这里还引入了动态加权的策略。
受困难样本挖掘[12,59]和focal loss[41]的启发,我们制定了将训练重点放在“困难”频率上的方法。为了实现这一点,我们引入了频谱权重矩阵来降低“简单”频率的权重。频谱权重矩阵由训练期间每个频率的当前loss的非均匀分布动态确定。每个图像都有自己的光谱权重矩阵。矩阵的形状与光谱的形状相同。矩阵元素w(u,v),即(u,v)处空间频率的权重,定义为:
完整的 focal frequency loss (FFL):
实验&效果:
结论
所提出的 focal frequency loss 直接优化了频域中的图像重建和合成方法。loss 自适应地将模型聚焦于难以处理的频率分量,以改善质量。这种损失是对不同类别、网络结构和任务的不同基线的现有空间损失的补充,优于相关方法。我们进一步展示了 focal frequency loss 对改善StyleGAN2合成结果的潜力。探索其他应用和设计更好的频域优化策略可能是未来有趣的工作。
新建学术交流群,欢迎各位小伙伴进群交流
努力分享优质的计算机视觉相关内容,欢迎关注:
个人微信(如果没有备注不拉群!)
请注明:地区+学校/企业+研究方向+昵称
下载1:何恺明顶会分享
在「AI算法与图像处理」公众号后台回复:何恺明,即可下载。总共有6份PDF,涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2:终身受益的编程指南:Google编程风格指南
在「AI算法与图像处理」公众号后台回复:c++,即可下载。历经十年考验,最权威的编程规范!
下载3 CVPR2021
在「AI算法与图像处理」公众号后台回复:CVPR,即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文
点亮 ,告诉大家你也在看