Real-ESRGAN图像超分算法渲染实践应用，加速实时渲染图像处理

最新推荐文章于 2024-02-27 09:56:34 发布

D5Render

最新推荐文章于 2024-02-27 09:56:34 发布

阅读量441

点赞数

分类专栏： D5技术文章标签：计算机视觉人工智能深度学习渲染器图像处理 3d渲染算法

本文链接：https://blog.csdn.net/D5Render/article/details/132208089

版权

2 篇文章 0 订阅

订阅专栏

“SR”是“Super Resolution”的缩写，意为“超级分辨率”，这是一种将低分辨率图像转换为高分辨率图像的技术。

D5 SR 是 D5 自研的超级分辨率采样算法，结合多通道的渲染特征图和神经网络图像生成算法，作为D5 2.5更新的功能， D5 SR 可以大大优化静帧图片的渲染效率，节约渲染时间。

超级分辨率技术的应用非常广泛，例如在视频渲染中可以用来增强视频的细节和分辨率，在实时渲染中可以用来增加画面的帧率，提高使用体验等。但如何在不失真的情况下，增强渲染图的分辨率，始终是一项挑战。

D5 SR 技术利用D5渲染出图效率高的功能特性，大批量渲染图片对模型算法进行学习优化。基于神经网络的超级分辨率算法，可以有效利用从这些图像中学到更多先验信息，从而得到更好的高分辨率重建效果。

然而，由于重构过程中没有加入足够的三维场景信息，例如几何形状、材质和纹理等，这导致我们的重建结果与基于物理的高分辨率渲染的效果有所不同。

为此，我们引入这些三维场景信息作为输入特征，来进一步减少超分后结果与真实物理渲染结果的差距。

在技术上，D5 研发团队做了以下工作：

首先，使用高分辨率的反照率( albedo )和法线( normal )信息来重建纹理和几何特征。其次，为了优化反射效果和高光效果，引入反射、透明度、金属度和粗糙度等信息。

为了进一步提高重建效果，团队使用了一种新的算法。它改进了原始的 ESRGAN 神经网络，并使用双流网络来分别处理低分辨率的原始图像和高分辨率的通道信息图。使用相对 L1 损失来扩大像素误差的监督和感知损失，并引入对抗损失来提高超分辨率效果。

最后，使用U型网络结构代替了原始 ESRGAN 中的部分 Residual Dense Blocks ，以扩大高分辨率通道信息图特征提取的感受野范围，并进一步提高推理速度。

Real-Esrgan 是一种盲超分算法，并没有针对 D5 图片做过优化，因此在对渲染图片做两倍超级分辨率计算时，Real-Esrgan 在重建大图时存在着不合理的猜测，有比较明显的瑕疵，材质表现不真实。

针对此问题，D5 SR 引入了图中物体的几何、材质、纹理等信息，高分辨率重建图片质量明显提升。以下是一些测试图，左边是 Real-Esrgan 超分算法的结果，中间是 D5 SR 优化后的超分结果，右侧是直接渲染的大分辨率图片作为标准参考。

放大对比图片，观察细节，可见未经过针对训练的超分算法，在重建材质时出现了严重的失真，表现为模糊，纹理异常，涂抹感严重等。

在引入几何和纹理信息后，各种失真现象得到修复。

在 D5 SR 技术的早期研发版本中，图片经过两倍的超分放大后，材质的反射细节会有一定的损失，体现为模糊感、涂抹感。

针对这一问题，D5 SR 在计算过程中引入了反射通道以及材质信息，使超分后的材质反射细节得到还原。

以下是两个典型场景的局部细节图，左侧是 D5 SR 反射优化前，中间是优化后，最右侧是直接渲染了高分辨率图片，作为标准参考。

放大对比图片，观察细节，可见在技术优化前，反射内容涂抹感严重。引入反射信息后，超分后的图片，材质反射细节丢失现象得到改善，较为接近标准的高分辨率图片渲染结果。

在 D5 渲染器左上角菜单栏，选择“偏好设置”>“组件”，开启“D5 SR 图片渲染 beta ”。

开启开关后，无需其他设置，便可以在图片渲染时获得 D5 SR 的加速效果。

注意：输出的图片尺寸需要大于 1440x1440 分辨率，才会真正启用 D5 SR 算法。

以下是 D5 SR 开启前后，对于大分辨率图片的渲染速度提升测试结果：

此测试场景，渲染 16K 静帧（15360 x 8640）的超大分辨率图片，开启 D5 SR 后渲染速度提升 65% ，测试结果如下：

放大图片至 100% 观察局部细节，可见 D5 SR 重建的结果接近大分辨率的标准结果，图片细节丰富。

关注