Deep Learning Based Registration文章阅读(十六）《NccFlow: Unsupervised Learning of Optical Flow With Non-oc》

Deep Learning Based Registration文章阅读(十六）

本次论文是2021.7月的文章，挂在arXiv，笔者还不知道发在了哪里，投的应该是IEEE Trans期刊，题目《NccFlow: Unsupervised Learning of Optical Flow With Non-occlusion from Geometry》。这篇文章的贡献是在non-occlusion的区域引入了几何约束，从而提升光流估计的准确度。在之前的无监督光流估计的工作中，引入了亮度一致性损失，但是亮度一致性在occlusion区域是不满足的，从而一些工作会focus在准确估计occlusion区域，剔除掉occlusion区域的像素再计算亮度一致性。这篇工作是在剔除掉occlusion区域的基础上，在non-occlusion区域引入几何一致性约束，文中也提到，这应该是首次在non-occlusion区域引入几何一致性。

文中的框架是在PWC-Net基础上进行修改，并大量借鉴SelFlow和DDFlow的sense，然后重点就是基于对数据的观察提出了两个损失non-intersection loss和non-blocking loss。

Observed priori knowledge

如上图所示，对于非occlusion区域 (图b)，下一帧的对应像素与上一帧的对应像素所连向量不会有交叉，且对于上一帧4个像素所形成的凸四边形，在下一帧中构成的凸或者凹四边形中，没有上一帧4个像素所形成的凸四边形的外部像素侵入进来。对于occlusion区域则不满足这些约束。但是也有极端实际情况不满足这些约束，但数据集中这种情况十分少见。例如下面两个例子：

如上图所示，上面的例子是不满足non-intersection约束的情况，原因是因为occlusion的过程由于“车速”太快，在sensor捕获的相邻两帧的时间差内已经完成了。

上图是不满足non-blocking约束的例子，原因是因为，两个不连续的物体(两个车)在相邻边界附近形成的凸四边形，会因为其他物体(行人)的insert，而使得non-blocking约束不满足。

Non-intersection loss

如上图所示，它是通过3*3的local window来实现non-intersection loss的计算，因为全图pixel2pixel的计算复杂度太高。

由于在边界位置容易发生occlusion，而在内部平坦的位置不容易发生，所以引入了一个和边界有关的权重来加权non-intersection loss。具体计算如上图所示。

上式在计算交叉程度，会作为下式exp的负指数项，下式的sigma笔者不清楚具体是什么，猜测是sigmoid函数。上式其实是在计算两个向量的外积，又根据右手螺旋定律，上式中的行列式为正值，所以物理意义是两个向量为边构成的平行四边形的面积。第三行也是一个外积。比例就是交叉点在各自对应向量的长度比，来体现交叉程度。

但是笔者这里有一点不太理解：按照上式的定义，下图两个例子交叉程度还是不太一样，但是对loss的贡献应该是一样，感觉不太make sense。

Non-blocking loss

上图是non-blocking loss计算过程，取得4*4 local window。a图和b图分别是经过光流后，上一帧的四边形ABCD变成凸和凹四边形的情况，要判断外面的点P1-P12是否进入了ABCD内部，在凸四边形时候只需要判断Pi是否在任意一个对角线划分为的两个三角形之一的内部即可，但是在凹四边形的时候，需要判断两次两条对角线划分的两个三角形，即下下式子。下式也是外积形式，结合右手螺旋定律来判断P点在对应三角形三条边的哪一侧，如果都在同侧，则P点在该三角形内部。



最后，上式根据P点到ABCD的城市距离来做exp加权。