什么是图像扭曲问题?
给定控制点和相应位移点稀疏对应集,我们需要找到一个映射,且两点之间的尽可能平滑。
径向基函数插值
起初,我们只有一组稀疏的控制点对应信息。最简单的方法来推断其他点是一个线性插值,插值点将沿着连接最近的控制点的分段移动,如下所示。
然而,我们想要的是一个通过紧密控制点得到的平滑的插值函数,这就是径向基函数作用。
以每个控制点为中心放一个核函数,那么中间的点由得到。其中是点周围径向基核函数的权重。待变化的点离控制点越远,受内核影响的程度就越小。一些核由于其中心周围邻近点的密度和大小较大,对整体光滑轮廓的影响比其他核大。
假设有三个控制点,权重 将是下列线性系统的解
即
径向基函数可以是高斯核或,这是一维情况下的TPS薄板样条函数。
Thin Plate Spline
现在,介绍二维warp下的Thin Plate Spline warping。
给定红色叉点和预期移动到的蓝色圆点,我们想解得两个光滑函数,采样后使得其他离散点可沿x和y方向位移(图中箭头)。
两个光滑函数如下所示
其中前三个系数表示能通过所有控制点最逼近x'(或y')的线性平面,表示每个控制点的控制权重,表示核函数,例如薄板样条核,接受的参数为待移动点与控制点的距离,下图为薄板样条核可视化,待变换点离内核中心(控制点)越近,它的高度或返回值就越高。
How to solve
每个薄板样条函数的系数由以下线性系统解出
其中,由)组成
是所有控制点组成的向量。第一行表示由所有替代得到的函数或
第二行表示系统的额外约束,解释见原paper
假设有三个控制点,则线性系统如下
总结如下:
由LW=Y解得W矩阵: