ICCV 2023 | 图像重缩放新方法：无需对模型重新训练即可提高性能

©PaperWeekly 原创 · 作者 | 徐冰娜，国雍

单位 | 华南理工大学

研究方向 | 计算机视觉

深度神经网络在图像重缩放（Image Rescaling , IR）任务中取得了巨大成功，该任务旨在学习最佳的下采样表示，即低分辨率（LR）图像，来重建原始的高分辨率（HR）图像。与固定降尺度方案（例如 bicubic）的超分辨率方法相比，由于学习了下采样表示，IR 通常可以实现更好的重建性能，这突出了一个良好的下采样表示的重要性。现有的 IR 方法主要通过联合优化下采样和上采样模型来学习生成低分辨率图片。

研究者发现，可以通过一种不同的且更为直接的方式来改进下采样表示——直接优化下采样图像（LR 图像）本身，而不是下采样/上采样模型。所提出的方法专注于模型的推理阶段，无需对现有模型进行重新训练，因此可以很好地推广到不同的模型中，并不断改进结果。本工作发表在 ICCV 2023，为提升现有 IR 方法的性能提供了有效途径。

论文标题：

Downscaled Representation Matters: Improving Image Rescaling with Collaborative Downscaled Images

论文地址：

https://arxiv.org/abs/2211.10643

Image Rescaling（IR）旨在将高分辨率（HR）图像缩小为视觉上舒适的低分辨率（LR）图像，然后将其放大以恢复原始 HR 图像。在实际应用中，缩小后的图像在节省存储空间或带宽以及拟合不同分辨率的屏幕等方面发挥着重要作用。IR 的典型应用场景是在边缘设备（例如移动设备）上获取 HR 图像/视频（之前存储在服务器中）。

为了节省存储空间和减少传输延迟，通常将原始 HR 图像/视频缩小到 LR，然后存储在服务器上。在某些情况下，这些 LR 图像可以直接被边缘设备使用，例如当设备屏幕分辨率较低或仅作为预览时，同时也可以在需要时将其升级到原始分辨率。为了提高 IR 任务的性能，现有方法通过最小化重建损失来共同学习下采样和上采样模型。然而，在一个完整的 pipline 中，除了训练好的神经网络模型外，被缩小的低分辨率图片本身也非常重要。