阅读笔记（Neurocomputing2021）Image stitching via deep homography estimation

基于深度单应性估计的图像拼接

Zhao, Q., Ma, Y., Zhu, C., Yao, C., Feng, B., & Dai, F. (2021). Image stitching via deep homography estimation. Neurocomputing, 450, 219-229.

0. 摘要

图像拼接是一个被广泛研究的问题，在许多领域有着广泛的应用。 传统的基于特征的方法在很大程度上依赖于手工特征的精确定位甚至分布，并且可能在一些困难的情况下失败。 虽然有强大的基于深度学习的单应性估计或语义对齐方法，但它们的精度对于图像拼接问题来说不够高。 在本文中，我们提出了一个深度神经网络，它可以足够准确地估计单应性，以实现小视差图像的图像拼接。 我们网络的关键组件是具有逐渐增加的分辨率和以混合方式构建的匹配成本量的特征图。 这两种设计都说明是有助于性能的提高。 我们还提出了一个新的拼接定向损失函数，考虑到图像内容。 为了训练我们的网络，我们准备了一个合成的训练数据集，其中的图像对更自然，更类似于真实的世界图像拼接问题。 实验结果表明，该方法在量化评价、视觉拼接效果和鲁棒性方面均优于现有的基于深度学习的方法和传统的基于特征的方法。