Globally Optimal Toon Tracking

最近看了师公的一篇文章，果然偶尔看看传统算法的文章，才能对问题的本质有深刻的理解，特此记录，敬畏前人。
该任务的可视化例子如下：

👉原项目地址

1. Optical Flow 不能用于赛璐璐（cel）动画的原因

1️⃣ 不能保证动画的内容（运动）是物理上正确的；
2️⃣ 对象运动更剧烈（Choppy & Vigorous）；
3️⃣ 动画对象缺乏充足的纹理。

2. 任务难点

1️⃣ 存在多个外形（Appearance）相似的区域（Region）；
2️⃣ 某个 Region 在中途被遮挡（全遮挡与半遮挡）；
3️⃣ 某个 Region 可能在某一帧中被分为多个 Regions。

3. 关键思路

1️⃣ 不仅考虑 Region 的 Appearance 信息，而且考虑其运动（Motion）信息；
2️⃣ 同时考虑所有区域的对应关系和他们的完整运动轨迹；而不是简单地追踪相邻帧之间的区域。（意思就是讲整个序列所有帧的所有 Regions 同时考虑）；
3️⃣ 对所有的 Regions 建立一个无环连通图，👇给个例子揣摩一下怎么构造的

** 无环 是因为根据时序推进去构造连接关系的，以上图为例子：

考虑 $F_1$，有 $a$, $b$，其他帧有 $c$, $d$, $e$，则必须有：$a\sim c$, $a\sim d$, $a\sim e$, 与 $b\sim c$, $b\sim d$, $b\sim e$；
考虑 $F_2$，有 $c$, 剩下帧中还有 $d$, $e$, 则必须有：$c\sim d$, $c\sim e$；
考虑 $F_3$，有 $d$, $e$，剩下没有多余的帧了。

这注定了未来的图中有 8 个节点（除了起止节点 $S$ 和 $T$ 外）。

• p.s. 本文定义流图的每个节点是两个区域 $a$ 和 $b$ 匹配 $n_{a,b}$，流经它的路径的代价是两个区域的外观匹配程度（Appearance Term）；
• p.s. 图的 edge 表示从跨帧，包含该路径的代价是跨帧的损耗（Motion Term）；
  
  

于是本文就将相邻帧间的区域匹配问题和统一区域的时序追踪问题转换为：求解所构造的网络流图中的若干短路径的问题（Network Flow Graph Problem）。

• p.s. 至于要求解多少条路径，则是不断迭代、从剩余路径中选择最短的路径，知道整个时序的所有区域都至少被一条路径经过。
  
  

找到的这些路径具有以下特点：

• 每一条路径上，如上图橙色路径是 $S-[n_{b,c}]-[n_{c,d}]-T$，说明这些区域是属于同一个区域，并且应该被追踪：$b-c-d$；
• 路径上的某个节点对应的两个 Regions 并不在相邻的两帧上时，说明在这中间的几帧中，该 Region 被完全遮挡了；
• 如果有多条路径经过包含的节点中关联到同一个 Region，说明这个节点在时序前后被切分为（Split）或者重新组成（Merge）。

4. 主要方法

下面首先讲解描述 Region 的外观与运动的两个描述器；然后讲一下描述网络流图的节点与路径代价的计算。

4.1 Appearance Term: i.e. Color & Shape Similarity

用颜色和形状来表示。

• 颜色差别用的是区域内的颜色直方图之间的 $L2$ 距离，即：
  $$\mathcal{C}(a,b)=\Vert o(a)-o(b){\Vert }_2$$其中的 $o(a),o(b)$ 是颜色直方图（文中取 $24$ 个 bin）。
• 形状使用 IDSC 描述器，即：Inner-distance Shape Context。
  1️⃣ 给定两个区域 $a$ 和 $b$，抽取他的轮廓点得到 { p 1 a , p 2 a , . . . } \{p_1^a,p_2^a,...\} {p1a​,p2a​,...} 和 { p 2 b , p 2 b , . . . } \{p_2^b, p_2^b,...\} {p2b​,p2b​,...}，
  2️⃣ 对每个点得到他们的形状上下文直方图（Shape context histogram）（😶，这玩意就不知道是个啥）
  3️⃣ 计算局部形状不一致程度：（这里“局部”是指两个轮廓点之间）
  $$s(p_i^a,p_j^b)=\frac{1}{2}\sum _k\frac{(h_i^a(k)-h_j^b(k){)}^2}{h_i^a(k)+h_j^b(k)}$$
  4️⃣ 计算全局形状不一致性：（这里“全局”是指两个区域之间）
  首先要对这些轮廓点做配对，两个区域的轮廓点数不一定相同，怎么得到这个匹配 ${\Pi }_{a,b}$ 呢？——😶作者说使用的是动态规划，具体没细说。
  然后就可以把配对的点的局部形状不一致程度累加起来，即：
  S ( a , b ) = ∑ { p i a , p j b } ∈ Π a , b s ( p i a , p j b ) \mathcal S(a,b)=\sum_{\{p_i^a,p_j^b\}\in\Pi_{a,b}}{s(p_i^a,p_j^b)} S(a,b)={pia​,pjb​}∈Πa,b​∑​s(pia​,pjb​)

4.2 Motion Term

文中假设各个区域做的运动是近乎刚性的，且仅考虑旋转和平移（甚至没有考虑缩放，这是本文的一个弱点之一）。

对于两个区域，使用迭代优化的方式来求解从 $a$ 到 $b$ 的最佳变换测参数，这里的“距离/代价”使用的是上面的形状不一致性来表示，因此有：
{ R a , b , t a , b } = arg min ⁡ R , t ∑ { p i a , p j b } ∈ Π a , b ∥ R ⋅ p i a + t − p j b ∥ 2 \{\mathbf{R}_{a,b},\mathbf{t}_{a,b}\}=\argmin_{\mathbf{R},\mathbf{t}}\sum_{\{p_i^a,p_j^b\}\in\Pi_{a,b}}{\|\mathbf{R}·p_i^a+\mathbf{t}-p_j^b\|_2} {Ra,b​,ta,b​}=R,targmin​{pia​,pjb​}∈Πa,b​∑​∥R⋅pia​+t−pjb​∥2​

4.3 节点的代价

$$\mathcal{D}(n_{a,b})=(\mathcal{C}(a,b)+{\lambda }_1\mathcal{S}(a,b)+{\lambda }_2\mathcal{M}(a,b))\cdot G(v-u)$$

其中，$G(v-u)={\alpha }^{v-u}$ 是对时间跨度的惩罚，先验告诉我们，通常一个区域会持续可见，时间跨度越大，这两个区域匹配的可能性更低；$\mathcal{M}(a,b)=\Vert {\Omega }_{a,b}{\Vert }_1+\Vert {\mathbf{t}}_{a,b}{\Vert }_1$ 是对运动变换的参数做限制，一般来说，同个区域在两帧之间的变换应该是很小的。另外，${\lambda }_1\sim [0.01,0.1]$，${\lambda }_2\sim [0.7,1.2]$，$\alpha =100$.

4.4 边缘的代价

由于节点表示一个匹配，那么边缘应该度量的是从一个匹配到下一个匹配的变化，结合一个先验知识：objects in animatios are very likely to move with costant velocities，我们针对运动的平滑性进行建模，就有：

$$\mathcal{V}(n_{a,b},n_{b,c})=\Vert \nabla {\Omega }_{a,b,c}{\Vert }_1+\Vert \nabla {\mathrm{t}}_{a,b,c}{\Vert }_1$$

假设 $a,b,c$ 分别存在于帧 $u,v,w$ 中，则这两项分别定义为：
$$\nabla {\Omega }_{a,b,c}=\Vert \frac{{\Omega }_{b,c}}{w-v}-\frac{{\Omega }_{a,b}}{v-u}{\Vert }_1$$$$\nabla {\mathrm{t}}_{a,b,c}=\Vert \frac{{\mathrm{t}}_{b,c}}{w-v}-\frac{{\mathrm{t}}_{a,b}}{v-u}{\Vert }_1$$另外定义起止点到第一帧与最后一帧的各个区域的连线的代价：
$$\mathcal{V}(S,n_{a,b})=G(u-1)$$$$\mathcal{V}(n_{a,b},T)=G(N-v)$$

4.5 最终优化目标

$$\sum _J(\sum _{n_{a,b}\in J}\mathcal{D}(n_{a,b})+\sum _{(n_{a,b},n_{b,c})\in J}{\lambda }_3\mathcal{V}(n_{a,b},n_{b,c}))$$其中，${\lambda }_3\sim [1.0,2.0]$.

5. 最后简要罗列一下作者在文中提到的一些缺点

1️⃣ 依赖区域分割的准确性^[1]，如果分割结果不好，匹配、追踪的精度也不高；
2️⃣ 假定运动变换是刚性的；
3️⃣ 当有很多外观相同且紧挨着的区域在运动的时候也很难处理；
4️⃣ 遮挡的时间不能太长，不然也会“跟丢”。