（新型事件相机有关的论文解读）Single Image Optical Flow Estimationwith an Event Camera

新型事件相机有关的论文解读之：

Single Image Optical Flow Estimationwith an Event Camera

关于事件相机：
事件相机是一个新型的类脑相机，是一个待开发的大领域。希望通过我的分享，能够有更多人来研究并将它更好地运用在我们的生活中~
对于事件相机还不了解的朋友们可以看我这一系列的另一篇博客：事件相机（Event Camera）及相关研究简介——新一代相机？新的计算机视觉领域？

本篇论文地址：https://arxiv.org/abs/2004.00347
本篇论文是发表在2020CVPR上的一篇论文，使用事件相机来做光流估计。

简介

总的来说，这是一篇运用经典方法估计光流的文章。
大致思路是：

• 通过变分法设置一个去模糊图片作为隐变量。
• 导出四个待优化函数。（包括事件的亮度恒定）
• 分别优化光流和去模糊图片。

变分方法＆符号定义

在估计时需要用到隐变量，这里设为$L$，代表去模糊后的灰度图，那么传统的从时间f到时间t的亮度不变可以表示为：
$$L(\vec{x},f)=L(\vec{x}+\vec{u}(\vec{x}),t)\text{\hspace{1em}(1)}$$
其中$\vec{x}=(x,y{)}^T$是坐标，$\vec{u}(\vec{x})=(u_x,v_x{)}^T$是光流。
可见$\vec{u}\in {\mathbb{R}}^{H\ast W\ast 2}$，$L\in {\mathbb{R}}^{H\ast W}$

在前人的方法中，利用这样变分法的优化函数可以表示如下：
$$\underset{u}{\min }{\int }_{\Omega }||\nabla \vec{u}(\vec{x})|{|}^{2}dx+{\int }_{\Omega }(L(\vec{x},f)-L(\vec{x}+\vec{u}(\vec{x}),t){)}^{2}dx\text{\hspace{1em}(2)}$$
其中$\Omega$代表整个图片域，而$\nabla \vec{u}(\vec{x})\in {\mathbb{R}}^{H\ast W\ast 4}$，其定义如下：
$$\nabla \vec{u}(\vec{x})=(\frac{\partial \vec{u}(\vec{x})}{\partial x},\frac{\partial \vec{u}(\vec{x})}{\partial y},\frac{\partial \vec{v}(\vec{x})}{\partial x},\frac{\partial \vec{v}(\vec{x})}{\partial y}{)}^T$$
即，第一项是由于估计的光流图应该是光滑的而添加的正则项。第二项是传统的亮度恒定。

本文方法

直接上公式：
$$\underset{L,\vec{u}}{\min }{\mu }_1{\varphi }_{eve}(L,\vec{u})+{\mu }_2{\varphi }_{blur}(L,\vec{u})+{\varphi }_{flow}(\nabla \vec{u})+{\varphi }_{im}(\nabla L)\text{\hspace{1em}(3)}$$
其中${\varphi }_{eve}$保证亮度不变，${\varphi }_{blur}$是去模糊过程，${\varphi }_{flow}$和${\varphi }_{im}$是类似于之前的光滑正则项。
文章的方法就是分步优化两个变量，L和u，根据上述优化公式，前两项对两个变量都起作用，而第三项相当于u的光滑正则项，第四项相当于L的光滑正则项，下面分别介绍四个损失。

亮度不变${\varphi }_{eve}$

我们知道，事件产生的条件是：
$$|log(L(\vec{x},t))-log(L(\vec{x},t_{ref}))|\ge c$$
其中c为阈值。
故从f时刻到t时刻，带入得：
$$L(\vec{x},t)=L(\vec{x},f)exp(cE(\vec{x},t))$$
其中$\vec{x}$为这段时间中的事件极性的积分。
故假设$\Delta t$很小，那么可以将亮度不变约束泰勒展开：
$$\begin{gathered} L(\vec{x}+\vec{u}(\vec{x}),f+\Delta t)\approx L(x,f)+u_{x}L(x,f{)}^{(x)}+v_{x}L(x,f{)}^{(y)}+\Delta tL(x,f{)}^{(t)} \\ =u_{x}L(x,f{)}^{(x)}+v_{x}L(x,f{)}^{(y)}+L(x,t) \end{gathered}$$
由亮度不变，则应该使得：
$$\begin{gathered} L(x,f)-(u_{x}L(x,f{)}^{(x)}+v_{x}L(x,f{)}^{(y)}+L(x,t)) \\ =L(x,f)(exp(cE(x,t))-1)+[u_x,v_x{]}^T\nabla L(x,f) \end{gathered}$$
这里令$\nabla L(x,f)=(L(x,f{)}^{(x)},L(x,f{)}^{(y)}{)}^T$
故该损失表示为：
$${\varphi }_{eve}(L,u)=\sum _{x\in \Omega }||L(x,f)(exp(cE(x,t))-1)+[u_x,v_x{]}^T\nabla L(x,f)|{|}_1$$

图片模糊方程${\varphi }_{blur}$

传统模糊就是一个卷积，而在动态环境中时，我们把卷积核大小缩减为1，即一个逐点的卷积：
$B=k(x)\otimes L(x)$
其中k为卷积核，L为去模糊的图片，B为模糊图片。$B\in {\mathbb{R}}^{H\ast W}$
卷积展开为：
$$\begin{gathered} B(x)=\sum _{y\in \Omega }k(x)L(x-y) \\ =\sum _{y\in \Omega }{k}_{u^{\prime }(x)}(y)L(x-y) \end{gathered}$$
这里$x,y\in \Omega$，$k_{u^{\prime }(x)}\in {\mathbb{R}}^{H\ast W}$就是每个像素的卷积核。

可以用下图来理解：

最终模糊损失定义为：
$${\varphi }_{blur}(L,u)=\sum _{x,y\in \Omega }||k_{u^{\prime }(x)}(y)L(x-y)-B(x)|{|}^2$$

正则项${\varphi }_{flow}{\varphi }_{im}$

1、${\varphi }_{flow}$光流的正则项
按照传统方法，应该使$\nabla u$尽可能小，设定x、y方向的系数w(x)，最小化量变为：
$$w(x)\nabla \vec{u}(x)=(w_X^x{u}_X^{(x)},w_X^y{u}_X^{(y)},w_X^x{v}_X^{(x)},w_X^y{v}_X^{(y)}{)}^T$$
则：
$${\varphi }_{flow}(\nabla u)=||w\nabla u|{|}_{1,2}=\sum _{x\in \Omega }||w(x)\nabla u(x)||$$
这里的系数由下面的公式得到：
$$w^x={\mu }_{3}exp(-(\frac{{\hat{L}}^{(x)}}{{\mu }_4}{)}^2)$$
$$w^y={\mu }_{3}exp(-(\frac{{\hat{L}}^{(y)}}{{\mu }_4}{)}^2)$$
其中$\hat{L}$为原灰度图，也就是说，在原图亮度变化较大的地方系数小一些，亮度变化小的地方系数大一些。
2、${\varphi }_{im}$去模糊图的正则项
直接将其梯度的一范数作为正则项。
$${\varphi }_{im}(\nabla L)=\sum _{x\in \Omega }||\nabla L(x)|{|}_1$$

优化

由于要优化两个变量，采取分步优化的方式。

优化光流

在优化光流时，固定隐变量L，令$L=\hat{L}$。优化函数变为：

G(u)为是凸的，F(Ku)是非凸的。
令：$Ku=w\nabla u$，$u\in X={\mathbb{R}}^{2N}$，$\nabla u\in Y={\mathbb{R}}^{4N}$，所以：$G:X\to \mathbb{R},F:Y\to \mathbb{R}$
使用对偶法求解，对F取两次共轭：
$$\begin{gathered} \underset{u\in X}{\min }(G(u)+\underset{p\in Y}{\max }<Ku,p{>}_X-F^{\ast }(p)) \\ {F}^{\ast }(q)=\underset{p\in Y}{\sup }(<p,q>-F(p)) \end{gathered}$$
得到优化公式：
$$\begin{gathered} p^{n+1}={\mathcal{P}}_{F^{\ast }}(p^n+\sigma K{\bar{u}}^n) \\ {u}^{n+1}={\mathcal{P}}_G(u^n-\tau K^{\ast }{p}^{n+1}) \\ {\bar{u}}^{n+1}=u^{n+1}+\theta (u^{n+1}-u^n) \end{gathered}$$
其中：
$${\mathcal{P}}_g(x)=arg\underset{y}{\min }(2g(y)+||y-x|{|}^2)$$
代表在离散集合中找到使函数值最小且距离x最近的点。

优化去模糊图

此时固定光流，优化函数为：