Perception-Oriented Single Image Super-Resolution using Optimal Objective Estimation

• CVPR2023
• https://github.com/seungho-snu/SROOE

1. 问题引入：

• 现在有很多方法综合使用多种损失，包括perceptual loss, adversarial loss和ditortion loss(L1, L2)，但是最佳的损失组合方式如何得到还是一个问题；
• 本文提出一个方法，对图像中的每个区域使用最佳的objectives，分为两个模型；
• 一个是predictive model输入LR得到optimal objective map，一个是generative model使用optimal objective map得到SR输出；

2. 方法：

• predictive model：${\hat{T}}_B=C_{\psi }(x)$，输入LR $x$输出optimal objective map ${\hat{T}}_B$
• generative model: ${\hat{y}}_{{\hat{T}}_B}=G_{\theta }(x|{\hat{T}}_B)$
• 对于perception-oriented SR，损失函数是下面七项的加权和，其中$L_{rec}$是重建损失，$L_{pe{r}_l}$表示的是VGG不同层取出来的feature的perceptual loss
  
• objective space: 因为损失是七项损失的加权和，所以目标空间可以用一个七维向量来表示${\lambda }_i\in {\mathbb{R}}^7$;
• 文中设置了两组参数空间$A$和$B$
  
• 之后对于每一个像素位置，选择其中LPIPS最小的时候对应的$\lambda$得到map