UnFlow损失函数

金渐层猫

已于 2022-03-21 11:32:09 修改

阅读量3.3k

点赞数

文章标签：光流估计无监督光流估计

于 2022-01-21 18:54:24 首次发布

本文链接：https://blog.csdn.net/weixin_43917574/article/details/115087455

版权

UnFlow损失函数

前言
- UnFlow损失函数
- 参考

前言

UnFlow: Unsupervised Learning of Optical Flow with a Bidirectional Census Loss
论文：https://arxiv.org/pdf/1711.07837.pdf
源码：https://github.com/simonmeister/UnFlow
无监督的主要思路：向前遍历光流向量再向后遍历应该回到同一个位置，根据亮度不变假设设计loss。
网络结构：输入为2帧，分别计算前向光流和方向光流。
在这里插入图片描述

UnFlow损失函数

设 $I_{1}, I_{2}: P \rightarrow \mathbb{R}^{3}$ 是两个时间上连续的帧。我们的目标是估算从 $I_{1}$ 到 $I_{2}$ 的光流 $\mathbf{w}^{f}=\left(u^{f}, v^{f}\right)^{T}$ 。由于我们的遮挡检测还需要反向光流 $\mathbf{w}^{b}=\left(u^{b}, v^{b}\right)^{T}$ ，因此我们通过使所有损失项对称（即，计算两个流方向的损失项）来联合估计双向流。

我们的无监督损失是基于这样的观察：第一帧中的像素应与第二帧中的像素相似，该像素由flow映射到第二帧中。
（存在遮挡问题，因此定义被遮挡的区域，在损失函数中进行遮挡检测）然而，由于第二帧中的对应像素不可见，因此对于被遮挡的像素，该观察不成立。因此，我们将遮挡像素从亮度一致性损失中屏蔽出来，以避免学习填充遮挡像素的不正确变形。我们的遮挡检测基于前后一致性假设。也就是说，对于非遮挡像素，前向流应该与第二帧中对应像素处的后向流相反。当这两个流之间的不匹配太大时，我们将像素标记为被遮挡。因此，对于正向的遮挡，我们将 $o_{\mathbf{x}}^{f}$ 的遮挡标志定义为1，只要约束
在这里插入图片描述
违反，否则为0。对于反向，我们通过交换 $\mathbf{w}^{f}$ 和 $\mathbf{w}^{b}$ ，用相同的方式定义 $o_{\mathbf{x}}^{b}$ 。在我们所有的实验中，我们设置 $\alpha_{1}=0.01$ ， $\alpha_{2}=0.5$ 。

在定义了遮挡区域之后，损失函数由三部分组成：亮度一致性损失 $E_{D}$ ，光流平滑性损失 $E_{S}$ ，前向-后向一致性损失 $E_{C}$ 。

亮度一致性损失 $E_{D}$
该项的作用是使两张图像尽可能对齐，差异变小。

其中， $f_{D}\left(I_{1}(\mathbf{x}), I_{2}\left(\mathbf{x}^{\prime}\right)\right)$ 测量两个假定对应像素 $\mathbf{x}$ 和 $\mathbf{x}^{\prime}$ 之间的光度差， $\rho(x)=\left(x^{2}+\epsilon^{2}\right)^{\gamma}$ 是稳健的广义Charbonnier惩罚函数， $\gamma=0.45$ 。我们为所有被遮挡的像素添加一个常数惩罚 $\lambda_{p}$ ，以避免所有像素都被遮挡的平凡解，并为所有未被遮挡的像素惩罚光度差。
由于亮度恒定性对现实情况中常见的照明变化不是不变性的，因此我们改用三元普查变换( the ternary census transform)。普查变换可以补偿加性和乘性照明变化以及伽马变化，从而为真实图像提供更可靠的恒定性假设。
光流平滑性损失 $E_{S}$
该项的作用是在流场上使用二阶平滑约束，以鼓励相邻流的共线性，防止相邻像素的光流值相差太大。

其中 $N(\mathrm{x})$ 由水平、垂直和 $\mathbf{x}$ 周围的两个对角线邻域组成（总共4个）。对于向量参数，我们假设 $\rho(\cdot)$ 计算每个分量原始广义Charbonnier惩罚的平均值。请注意，对于被遮挡的像素位置，除了遮挡惩罚之外，该项是唯一有效的。
前向-后向一致性损失 $E_{C}$
该项的作用是使前向光流和后向光流保持可逆性。
对于非遮挡像素，我们添加了前后一致性惩罚：