Title:Learning Continuous Image Representation with Local Implicit Image Function(用局部隐式图像函数学习连续图像表示)
Writers:Yinbo Chen Sifei Liu Xiaolong Wang
Conference:arxiv 2020
作者单位:UC San Diego NVIDIA
代码链接:https://yinboc.github.io/liif/.
论文链接:https://arxiv.org/abs/2012.09161
问题动机:
我们的视觉世界是连续的。然而,当机器试图处理一个场景时,它将需要首先将图像存储并表示为像素的2D阵列,其中复杂性和精度之间的权衡由分辨率控制。虽然基于像素的表示已经成功应用于各种计算机视觉任务,但是它们也受到图像分辨率的限制。例如,数据集通常由不同分辨率的图像表示。如果我们想训练一个卷积神经网络,我们通常需要将图像的大小调整到相同的大小,这会牺牲清晰度。我们建议研究图像的连续表示,而不是用固定分辨率表示图像。通过将图像建模为连续域中的函数,我们可以根据需要以任意分辨率恢复和生成图像。在本文中,作者提出了局部隐式图像函数(LIIF)来连续表示自然和复杂的图像。
解决思路:
作者如何将图像表示为连续函数?作者的工作受到用于三维形状重建的隐式神经表示的最新进展的启发。隐式函数的思想是将对象表示为将坐标映射到相应信号的函数(例如,到3D对象表面的带符号距离、图像中的RGB值)。神经隐函数由深层神经网络