论文阅读《Vision‐based displacement measurement enhanced by super‐resolution using gan》2023

一、论文笔记《使用深度学习超分辨率技术提升基于计算机视觉的位移测量精度》

1、要解决的问题

越来越多研究基于视觉的方法测量建筑与基础设施的位移响应，但是往往需要采用成像质量良好的专用设备，限制了视觉方法的应用。城市中具有大量摄像头因存在距离目标远、成像质量差等问题，在胜任结构位移测量这一更加精细的任务上具有较大难度。使用超分辨率技术，通过补充拍摄高清照片实现低清监控图像与视频的细节提升，进而提高位移测量的精度，解决这一问题。

2、超分辨率技术

基于深度学习的插值算法（超分辨率技术是指从观测到的低分辨率图像重建出相应的高分辨率图像，随着深度学习技术的发展，超分辨率技术在电影、医疗影像、游戏等领域的应用，也愈发广泛）。

3、对抗损失（GAN Loss）

是让超分模型能够真正无中生有的生成纹理的关键——使用对抗损失需要额外训练一个判别器模型，用来鉴别图像是真实的高分辨率图像还是超分重建的高分辨率图像。1） 超分模型的目标是尽可能生成更真实的图像，以此欺骗判别器，使判别器相信它们是真实的。2） 判别器的目标是尽可能的分辨出哪些是超分模型生成的图像。训练过程中，超分模型和判别器模型的相互对抗和博弈，最终可以使超分模型生成逼真的图像，所以这种网络也叫生成对抗网络。（用于背景超分、文字超分、人脸超分——擅长生成纹理细节、处理线条边缘、修复五官），提出的利用基于GAN的深度学习超分辨率模型提升静态动态位移测量精度的方法——通过补充拍摄目标对象的高清照片，实现了低清图像与视频的细节提升，进而提高了位移测量的精度。
参考【超分辨率】3分钟带你读懂https://blog.csdn.net/u013066730/article/details/125979081

4、技术路线

主要包括5个步骤：低清图像获取、高清图像拍摄、图像对齐构造数据集、超分辨率、位移测量。SRGAN超分辨率网络——研究背景：单图像超分辨率（SISR）的准确性和速度取得了突破性进展，但仍然存在一个问题：当我们在大的放大因子下进行超分辨率时，如何恢复更细腻的纹理细节。研究目的：提出一种生成对抗网络（GAN）用于图像超分辨率（SR），它能够推断出4倍放大因子下的照片级自然图像。为了实现这一目标，作者提出了一种感知损失函数，它由对抗损失和内容损失组成。
参考原文链接：https://blog.csdn.net/leonardotu/article/details/130204146

5、结论

尽管超分辨率后的图片与原低清图片存在明度、色调等差异，但实现纹理细节的原位替换即可服务于测量任务。定量误差分析表明，在超分辨率图像上应用位移测量方法，可以一定程度提高精度并且对于暗光和模糊具有一定的稳定性。

6、引用与被引用