脉冲视觉-图像重构-基于短期可塑性（一）

概述

        本文介绍了基于大脑短期可塑性(STP)机制的新型高速图像重建模型，分别称为TFSTP和TFMDSTP。

        在TFSTP中，通过在每个像素处建立STP模型，可以根据模型的状态推断出场景的亮度。在TFMDSTP中，我们使用STP来区分运动区域和静止区域，然后使用两组STP模型分别对它们进行重构。基于stp的重构方法可以有效地降低噪声。

现状分析

在此方法出现之前的重构历程发展如下：

       （1） “TFI纹理”和“TFP纹理”来重建场景。由于在去除运动模糊和提高图像对比度之间存在权衡，因此需要仔细定义窗口的长度，这将显著影响结果

        （2）一种基于graphcut的方法提取运动区域，用不同的方法重建静态和运动区域。然而，基于GraphCut的运动提取需要对运动蒙版进行迭代优化。这种基于能量的优化方式很耗时，削弱了尖峰相机的低延迟优势

        （3）通过利用信号的时间相关性来补偿运动，从而提高了信噪比，但它只适用于具有线性运动的场景。

        （4）基于深度神经网络，提出了Spk2ImgNet，它以一个脉冲序列作为输入，自动提取不同周期的特征，形成参考帧和关键帧

        总之，在此方法提出之前的任何一种方法，要么就是不能满足脉冲相机需要低延迟的特点，要么就是不能满足脉冲相机低功耗的特点。

短期可塑性介绍

        短期可塑性(short- short plasticity, STP)是指突触强度的短期变化，通常在几十到几千毫秒之间。STP对突触前尖峰放电频率敏感，并能瞬间调节突触后电位(PSP)振幅。当突触后神经元接收到突触前神经元的一系列动作电位时，PSP的变化如下:

（R(t)表示轴突在时间t时剩余的可用神经递质数量，u(t)表示轴突在时间t时神经递质释放的概率）

下面的常微分方程定义了R(t)和u(t)的动力学:

这里δ(t)表示狄拉克δ函数，C是一个影响u(t)变化的常数参数。说明，当突触前电位在时间tsp释放时，神经递质R(t)的数量减少u(t−)R(t−)，并恢复到具有一个抑制时间常数τD（注意，符号t -表示这些函数应该在从下面接近脉冲释放时间的极限中计算。）这公式表示突触前脉冲放电时，释放概率u(t)增加C[1−u(t−)]，并以促进时间常数τF衰减回基线释放概率u。与PSP类似，突触后电流(PSC)的公式为:

（R(t)和u(t)(5)和(6)的动力学可以看作是两个输入脉冲的低通滤波器，它们的截止频率与时间常数τD和τF成反比）STP有两种类型，分别称为短期抑制和短期促进。短期抑制和短期促进对突触效能的影响是相反的。通过改变四个参数STPθ= {τ D，τ f,U, C}， STP可以有短期抑制为主或短期促进为主的形式。STP对信息转换和网络动态有影响，包括时间过滤、增益控制、诱导网络状态的不稳定性或移动性。

图解：突触后电位(PSP)和突触后电流(PSC)由STP与接收到的突触前神经元的尖峰流产生。左:短期抑郁支配模型，参数为τD = 750 ms， τF = 50 ms, U = 0.45, C = 0.3。右:短期促进支配模型，参数τD = 50 ms， τF = 750 ms, U = 0.15, C = 0.15。

通过STP重建纹理

        TFSTP(基于stp的图像重建算法可以有效地降低噪声)：通过将输出尖峰流作为具有STP的尖峰神经网络的输入，我们推导出每个像素的时变发射频率与突触后神经元的动态之间的关系，并进一步推断出重建图像的场景亮度和像素值。这种方法称为来自STP的纹理(TFSTP)。(在TFSTP中，所有像素都使用相同的STP参数集进行重构。因此，我们需要在去除运动模糊和噪声之间做出权衡，使得不可避免地看不到对方。

        利用STP估计发射频率:通过在峰值摄像机的每个像素处建立STP模型来记录输出的峰值流，推导出每个像素时变的放电频率和突触后神经元的动力学。为了推导，以及简单高效的数值实现，R(t)和u(t)的动力学可以通过对尖峰n和n + 1的积分重写为以下差分方程:

（其中Rn和un表示尖峰n和n + 1之间的R和u的值，Δt n表示尖峰n和n + 1之间的区间。）

我们设C = u，如果脉冲速率ρ保持恒定，R和u将收敛到它们的稳态值R∞(ρ)和u∞(ρ):

反之，假设峰速率ρ保持不变，R和u已经收敛到它们的稳态值，我们可以通过如下式子分别从R和u估计ρ:

由于每个像素的发射频率与场景亮度成正比，因此估计的像素值是ρR和ρu的加权平均值:（通过改变加权参数w = {w1, w2}，我们可以控制ρR和ρu对构建图像的贡献）

脉冲间隔修正

        脉冲相机利用行扫描器读出脉冲流，时间分辨率(最小采样时间)为T = 25 μs。如果真实的间隔
不是25 μs的倍数，原始脉冲数据中的脉冲间隔将在两个相邻的整数之间跳跃，这将导致重建图像中的椒盐噪声。下面是一个例子：

        spike间隔校正示意图。在这个例子中，由于真实区间2.6 T不是T的倍数，原始spike数据的spike区间将在2 T和3 T之间切换，这与真实的spike区间不同。如果我们用5个相邻区间的平均值替换每个区间，那么所有的区间都将被修正为2.6 T。

纠正错误间隔流程：

        检测错误的间隔:

其中Δt ijn表示位置(i, j)上的第n个脉冲和第n + 1个脉冲之间的区间，nr用来决定用多少个Δt ijn的相邻区间来推断Δt n ijis是否错误。当5个区间的最大值与最小值之差等于1时，需要修正Δt ijn。这里我们提出一个移动平均区间来修正这个误差区间:

例如：设置nr = 2，即使用5个区间来纠正Δtijn。

TFSTP算法步骤：

输入:脉冲流Sij

输出:估计像素值;

1.初始化STP参数{τD， τF, U, C}， R和U，以及权值参数w

2.计算脉冲间隔Δtn

3.使用上式检测错误间隔并将错误间隔修正

4.更新Rn+1和un+1

5.估算发射频率ρR和ρu

6.估计像素值

STP模型分析

（下一章节讲述。。。。）

基于运动的STP纹理构建

（下一章节讲述。。。。）

引用文献：Capture the Moment: High-Speed Imaging WithSpiking Cameras Through Short-Term Plasticity