脉冲视觉-图像重构-TFI、TFP、TFA

文章概述

        本文介绍了一种受视网膜神经元信号处理启发的类中央凹采样方法，旨在仅利用脉冲的特性进行视觉纹理重建。接下来所讲的模型可以实现更好的图像质量和更高的灵活性，这能够改变要求苛刻的机器视觉应用程序的构建方式。针对各种任务和应用，如高速运动和静止场景，提出了几种视觉纹理重建策略。接下来就来简单的讲述一下，本人关于这几种图像重建方法的学习路程。

        脉冲可以根据两个原则来利用:（1)强度与ISI（时间间隔）成反比;（2)强度与峰电位计数或峰电位频率成正比。因此，通过利用ISI或简单地计算一段时间内的峰值，可以完全重建场景。

 TFI（间隔的纹理重建）

         对于高速正在运动的物体，脉冲发射的速率正在快速的改变，根据（1）强度与ISI成反比，从ISI中重构纹理。如下图重构纹理图（间隔的纹理重建）：

图中的平均强度是通过这个公式得到，这里的分子是阈值门限值，分母为两个脉冲信号之间的时间间隔。通过平均亮度强度，再通过如下公式来估计重建的像素值，，其中Pti表示ti时刻的像素值，C表示最大动态范围，Δti表示ti到出现尖峰的最后时刻之间的ISI。

        与原始纹理相比，重构的值可能并不完全匹配。但变型还是和原来一致的。这种方法(纹理来自ISI, TFI)可以重建纹理的轮廓，但不能重建清晰的细节。当物体移动非常快时，由亮度强度重建的图像几乎同步执行运动。

TFP(移动时间窗回放的纹理重建)

        在静止场景下，脉冲放电特性很少发生变化。由强度与峰电位计数或峰电位频率成正比，如果我们回放脉冲，历史画面就能被说明。

        在TFP中有一个移动的时间窗口收集特定时期的脉冲。通过计算这些脉冲，纹理被计算为:

（时间窗口的大小为w，它指的是ti之前的前w时刻。Nw为时间窗口内收集的钉鞋总数。C为重建
的最大动态范围）

也如下图所示一样：

时间窗口越大，表示回放周期越长，包含的峰值越多。当时间窗口大小设置为调度阈值φ时，纹理就能精确重建。同时，TFP方法通过将时间窗口大小调整为不同对比度水平的值，可以恢复具有不同动态范围的纹理。

TFA(自适应纹理重建)最大的特征是具有不同的阈值

        对比于TFP方法通过回放历史窗口中的峰值来重建纹理，这需要在时间窗口长度和延迟之间进行权衡。如果能够根据历史尖峰的影响自适应地重建纹理，而不是使用预定义的窗口，将会取得更好的效果。TFA是基于生物视网膜的成像原理（【在生物视网膜中，尖峰信号被传送到视觉皮层进行高级分析，在分析过程中，各种神经元会用自己的放电特性来处理输入和响应。为了简单起见，这些神经元可以抽象为一个典型的神经元，但具有不同的膜电位阈值，以适应不同的刺激】），而产生的一类重构方法，一种基于SRM（spike response model）的自适应纹理重建方法。

        我们把每个像素看作一个神经元，那么spike camera的输出可以看作是模型的输入电流I (t)，它是一个单位阶跃函数。首先，输入电流I (t)被一个滤波器κ(s)滤波，并产生输入电位h (t)。

（其中，κ(s)描述了时间s处电压对短电流脉冲响应的时间过程）

根据SRM模型，k（s）被定义为：

（其中Δ和τ为调整模型形状的参数。通常，Δ设为零，τ是常数）

u的演化由：

(式中η(·)为放电后的电压贡献，它反馈给膜电位。实验中我们设定了η (s))

脉冲触发是由一个阈值过程定义的。如果膜电位u达到阈值，则触发输出尖峰。同时，对阈值进行动态调整，以适应发射速率。动态阈值模型为:

这里：

（其中，φ(t0)为初始阈值，fti (s)为调整阈值的自适应函数，T为计算尖峰数的时间范围。阈值根据过去T时间内的发射次数进行调整）

        脉冲放电阈值反映了外界刺激的强度，它是神经元模型对环境的适应。阈值调整可以看作是模型对放电率的学习过程。在某一时刻，如果我们把所有像素的阈值放在一起，形成一个矩阵，经过归一化之后，视觉纹理重建就自然完成了。TFA模型工作流程图如下：

【将尖峰序列视为神经元的输入电流I (t)。它被κ (s)滤波并产生电位h (t)。如果累积的膜电位u (t)达到阈值ϑ (t)，就会发生放电。然后通过动态阈值和峰后电位自适应调整模型以适应输入电流。】

总结

        以上就是三种重建方法的简单叙述，TFI更适合于实时应用，如目标检测或动作识别相关任务，TFP能够重建视觉友好的图像序列供观看，而TFA具有自适应能力，可以在静态场景中提供高质量的纹理。在现在的诸多文献当中，以及具有更高效的纹理重建方法，但对于我这种小卡拉米也得先把最基础的重建方法给理解了才能深刻的了解最先进的方法，探索最先进的重建方法。如果诸位大神有好的想法咱们可以交流一下！！

详细内容请查阅文献：“A RETINA-INSPIRED SAMPLING METHOD FOR VISUAL TEXTURE RECONSTRUCTION”Lin Zhu1,† , Siwei Dong1,†, Tiejun Huang1,2,3, Yonghong Tian1,2,3,∗