上一篇blog我们详细介绍了Real-ESRGAN论文的原理,以及paper中的所有技术细节。这篇blog我们来看一下Real-ESRGAN的实际效果。

Real-ESRGAN提供了如下几种不同的预训练模型: RealESRGAN_x4plus, RealESRNet_x4plus,RealESRGAN_x4plus_anime_6B, RealESRGAN_x2plus, realesr-animevideov3, realesr-general-x4v3

对于动漫插图类型的图,RealESRGAN_x4plus_anime_6B模型具有明显的优势:

对于下面分辨率62x90的原图

Real-ESRGAN超分算法效果_Real

这4种模型跑出来的效果如下所示:

Real-ESRGAN超分算法效果_esrgan_02

RealESRGAN_x4plus_anime_6B模型的明显最好。我们将原图和RealESRGAN_x4plus_anime_6B模型的输出放在一起对比:

Real-ESRGAN超分算法效果_gan_03

对于下面这张图

Real-ESRGAN超分算法效果_real_04

看起来反而是RealESRGAN_x4plus的效果最好,虽然毛发处有些过于锐化,导致的看起来不自然。RealESRGAN_x4plus_anime_6B的毛发都是虚的。

Real-ESRGAN超分算法效果_gan_05

我们将原图和RealESRGAN_x4plus的效果放在一起对比:

Real-ESRGAN超分算法效果_超分辨率重建_06

下面这个场景的超分

Real-ESRGAN超分算法效果_超分辨率重建_07

Real-ESRGAN超分算法效果_Real_08

其实4种方法难分伯仲。我们把原图和RealESRGAN_x4plus的效果放在一起对比

Real-ESRGAN超分算法效果_gan_09

只能说有提升,但不多。

对于下面这张图

Real-ESRGAN超分算法效果_esrgan_10

4种方法的表现为:

Real-ESRGAN超分算法效果_Real_11

RealESRGAN_x4plus和RealESRGAN_x4plus_anime_6B模型都把这块空岛给虚化掉了。

Real-ESRGAN超分算法效果_Real_12

但是从光斑来说,RealESRGAN_x4plus和RealESRGAN_x4plus_anime_6B模型的效果是最好的。

我们取RealESRNet_x4plus的效果与原图进行对比:

Real-ESRGAN超分算法效果_超分辨率重建_13

再来看一个比较暗的场景

Real-ESRGAN超分算法效果_超分辨率重建_14

Real-ESRGAN超分算法效果_real_15

整体来说,anime模型的效果最好。

Real-ESRGAN超分算法效果_Real_16

再来看下面的场景:

Real-ESRGAN超分算法效果_esrgan_17

Real-ESRGAN超分算法效果_Real_18

虽然anime模型会丢失一点点细节,但是整体清晰度是最好的。

Real-ESRGAN超分算法效果_Real_19

再来看switch荒野大镖客的一些场景。

例如下面这个:

Real-ESRGAN超分算法效果_超分辨率重建_20

Real-ESRGAN超分算法效果_gan_21

anime的模型虽然整体超分效果不错,但是anime的模型更加倾向于抹平很多细节。

Real-ESRGAN超分算法效果_esrgan_22

从烟囱的黑烟表现上,只有anime模型和general模型正常一点。总结来看,general模型的整体效果是最好的。我们把原图和general模型的图对比一下。

Real-ESRGAN超分算法效果_real_23

再来看这个场景

Real-ESRGAN超分算法效果_esrgan_24

Real-ESRGAN超分算法效果_Real_25

对于文字的超分,RealESRGan模型的效果是最好的。

Real-ESRGAN超分算法效果_gan_26

整体也没引入什么异常。我们将原图和RealESRGan的效果放在一起比较。

Real-ESRGAN超分算法效果_Real_27

总结:

  1. 对于卡通场景,RealESRGAN_x4plus_anime_6B模型的效果是最好的。对于一般场景使用这个模型的话,这个模型会趋向于抹平掉很多细节。
  2. 对于一般场景,RealESRGAN_x4plus,RealESRNet_x4plus的效果一般都是可以的,RealESRGAN_x4plus可能在某些场景(比如烟雾上)引入artifacts,可以两个模型比较使用。