【video frame interpolation系列1】背景知识: forward and backward image warping （图像扭曲/变换）

最新推荐文章于 2024-06-11 16:37:22 发布

EE_Lily

最新推荐文章于 2024-06-11 16:37:22 发布

阅读量5.5k

点赞数 15

分类专栏：视频编码深度学习视频插帧

本文链接：https://blog.csdn.net/baoyongshuai1509/article/details/109013703

版权

11 篇文章 0 订阅

订阅专栏

3 篇文章 1 订阅

订阅专栏

2 篇文章 1 订阅

订阅专栏

最近子课题的研究涉及到 video frame interpolation 的相关知识，故开一个系列，简单地记录一下，对于此课题涉及到的内容，个人的一些总结与理解，仅供参考，如有错误之处，欢迎指正。

正文

video frame interpolation，视频插帧，也叫内插帧，即根据前后参考帧预测中间的帧。还有另一种插帧类型，外插帧（video frame extrapolation），即根据前面的参考帧预测后续帧。这个系列只谈及video frame interpolation。

本文主要介绍一下一个相关的背景知识: forward and backward image warping，直译即前向和后向的图像扭曲，也可以理解为图像变换，即移动图像中的像素（mapping和resampling）。mapping分为前向和后向。

上图中A即为 forward image warping，B为backward image warping。可以很直观地发现二者的区别，下面将从现象和原理展开描述。

$I_{m}^{\prime}(T(\mathrm{x})) \leftarrow I_{m}(\mathrm{x}), \forall \mathrm{x} \in \Omega$

这就是前向扭曲/变换，我理解的是这是像素从原图像的坐标点移动到新图像坐标点。

这里的映射方法就多种多样了，可以举几个例子：

1）放缩（scale by factor）

2）旋转（rotation）

3）单方向的剪切（shearing）

4）鱼眼效果，漩涡效果等

现象：在A图中，forward image warping，会出现一些空洞（holes），图中灰色标记的地方，即原图的像素经过warping后没有像素映射到该位置。而有一些点在映射后会落在新图中相同的位置上，如下图红框圈出的位置。这是因为图像像素的离散性，变换的函数通常既不是单射（injective）也不是满射（surjective）的，因此变换后的非整数值将会被四舍五入，因此不是原图中每个像素都会在新图中被分配像素值，同样，新图中的单个像素可能对应了原图中的多个像素。

另一种warping可以削减上述的问题，即backward warping。区别在于，现在对于新图像的每个像素，都会计算原始图像中的坐标，其强度值源自该坐标。

$I_{m}^{\prime}(\mathrm{x}) \leftarrow I_{m}\left(T^{-1}(\mathrm{x})\right), \forall \mathrm{x} \in \Omega$

类似于前向warping， $T^{-1}(\mathrm{x})$ 也会产生非整数值，不同是，在backward warping中，可以在原图中使用插值的方法来获取非整数坐标像素之间的坐标的像素值。比如，采用双线性、三线性插值等。

以上就是image wraping，下一篇文章将会讲一下video frame interpolation中的wraping。

参考资料：

1. Princeton University CS 426, Fall 2000

3. Non-rigid Registration Using Free-form Deformations

关注

专栏目录