【论文笔记】(VC)Multi-scale Grouped Dense Network for VVC Intra Coding

Multi-scale Grouped Dense Network for VVC Intra Coding

问题

为了降低伪影

方法

提出了一个 the multi-scale grouped dense network (MSGDN)
包含了多尺度和组密集模块
提出 a generative adversarial network (MSGDNGAN) 利用MSGDN作为生成器，以提高主观质量

分析

VVC中，编码单元的尺寸是不同的，因此造成压缩伪影分布在不同的空间尺寸上。因此采用多尺度
为了增强网络的表征能力，使用GRDB作为每个尺度的基本模块
为了增强压缩图像的主观质量，提出使用GAN

---

Multi-scale grouped dense network

通过不同尺度特征，网络可以融合粗粒度和细粒度信息去增强表达能力

突然他这引用的这篇文章 《Grouped residual dense network for real image denoising and gan-based real-world noise modeling》和作者写的几乎一样呀，除了多了一个多尺度结构。

每个低尺度特征经过一个GRDB后，上采样与上一尺度特征融合，并经过一个Non-local模块，这里Non-local 模块的作用是什么呀？文中未说明。

Generative adversarial network for VVC

以前我就想做一个有关GAN的网络来增强主观质量，没想到已经有人捷足先登了

文中使用上述的MSGDN作为generator
使用Relativistic average Discriminator(RaD) 增强鉴别器， RaD专注于输入数据是否更真实

$x_r$ 和$x_f$ 分别代表real image and fake image
the discriminater loss:

$E_{x_r}$ 是一个minibatch中所有real data 的平均值

$f$代表 sigmoid 函数， C代表discriminator的输出。
同时还采用perceptual loss[14] 进一步约束主观性能

GAN虽然提高了主观质量，然而造成了客观质量的下降

---

Loss Function

为了提升客观性能，文中首先使用L1 losss，然后再用MSE loss微调MSGDN模型。
这样对于只用MSE来说，有什么好处吗，

为了提高主观性能，首先使用L1 loss 训练生成器，再用公式3中的loss替换L1 loss

Experiment

作为VVC的研究，竟然不用CTC测试，差评，要是我，肯定拒了！

这个GAN提升的主观质量还真可以