脉冲视觉-图像重构-运动对齐滤波

        人们提出了几种重建方法。一种典型的方法是TFI：利用两个相邻的尖峰来推断瞬时的亮度强度。虽然可以实现高时间分辨率成像，但重建的信噪比(SNR)通常不令人满意。为了提高SNR，提出了在大时间窗内平均峰值的方法（TFP）。然而，重建可能会受到不期望的运动模糊的影响，特别是当场景中有物体移动非常快时。为解决这个问题，将物体的运动考虑在内，并利用光流来对齐不同时刻的场景。在运动对齐后，可以对信号进行沿运动轨迹的滤波，以利用时间相关性，同时不会引入不希望的运动模糊。

方法概述：

        首先利用传统的重建方法估计了一系列基本重建结果;考虑到场景中的运动，利用光流的优势对齐不同时刻的基本重建图像;最后，对对齐后的图像进行时间方向的滤波，在不引入运动模糊的同时稳定地重建最终图像。

基于运动对齐滤波图像从重构的方法实现：

方案框架:

                                基本重建方法重建图像 》》》运动对齐》》》时间方向滤波

实现步骤：

1.运动对齐：

在应用时间滤波以利用不同场景的相关性之前，我们应该首先对齐场景。为此，一系列基本图像{X1，X2，…，Xt}，它们可以粗略地表示不同时刻的瞬时场景，首先利用TFI进行重建，然后通过光流法（采用Horn等人提出的经典光流估计算法）估计关键图像Xt与其他图像Xk之间的局部相对运动。

通过光流进行运动对齐：

通过相关公式可以将相对运动表现为：

根据上述关系我们可以对时刻t相邻空间关系进行建模：

2. 时间滤波

         在运动对齐后，可以对基本图像应用时间滤波来利用时间相关性，从而使最终的重建变得更加稳定。（沿时间方向的滤波）

       需要注意的是，(x,y) 的对应位置 (x′,y′) 可能是一个子像素，因为所得到的相对运动可能是小数， 所以采用双线性插值，利用4个最近邻像素的优势，来计算对应位置的亮度然后，通过沿时间方向应用滤波，可以计算出像素(x,y) 的最终像素值。

        Xt​(x,y) 表达的是在时间 t 时刻，在空间位置 (x,y) 处的重建图像像素值。通过加权相邻时间帧的对应像素值并进行归一化，该等式计算出了重建图像的像素值。

（其中σ为分布的标准差。它由时间窗口决定）

结论

        针对传统重建方法在基于视网膜的spike相机上重建性能较差的问题，提出了一种新的spike相机重建方法。将场景的运动考虑在内，并通过整合光流来对齐不同时刻的场景。为了充分利用不同场景之间的时间相关性，在一个相对较大的时间窗口内对对齐场景进行时间滤波，以提高重建的性能。实验结果证实，所提出的方法实现了具有竞争力的重建性能，不仅可以恢复尖锐的纹理和精细的细节，而且在平滑区域也产生了很好的感知质量。

参考文献：

【1】High-Speed Motion Scene Reconstruction for SpikeCamera via Motion Aligned Filtering

【2】 B. K. P. Horn and B. G. Schunck, “Determining optical flow,” ArtificialIntelligence, vol. 17, no. 1C3, pp. 185–203, 1980.