论文阅读 | Event-based Video Reconstruction via Potential-assisted Spiking Neural Network

bettii

已于 2022-12-13 15:55:44 修改

阅读量375

点赞数

文章标签：论文阅读计算机视觉人工智能

于 2022-12-13 13:10:04 首次发布

本文链接：https://blog.csdn.net/bettii/article/details/128299047

版权

前言：用SNN脉冲神经网络做基于事件相机的图像重建的文章
论文地址：【here】
代码地址：【here】

Event-based Video Reconstruction via Potential-assisted Spiking Neural Network

引言

目前的重建方法：用ANN人工神经网络
问题：人工神经网络,计算密集型，消耗大的功率，不利于处理低时延事件
解决：稀疏事件数据可以有效地与神经形态硬件芯片相结合，用于低功率脉冲神经网络（SNN）应用（神经形态芯片可以参考这篇知乎）

因此，本文结合了SNN，提出了第一个基于SNN的做事件相机图像重建的文章，并提出了一种混合电位辅助SNN（PAEVSNN），它利用自适应膜电位（AMP）神经元来改善EVSNN的时间感受域。

方法设计

1.输入表征
基于距离传播的体素网格，和E2VID一样

2.脉冲神经元的设计

LIF Neurons

其中，Xt是输入，Vt-1是上一时刻电位，1/τ（-（Vt-1-Vrest））是触发后的衰减的电位状态
St是神经元输出，即超过阈值输出一个脉冲，这里的原本H函数不可导，用1/π（arctan(πx)+1/2）替代

代码

class LIFNode(BaseNode):
    def __init__(self, tau: float = 2., v_threshold: float = 1.,
                 v_reset: float = 0., surrogate_function: Callable = surrogate.Sigmoid(),
                 detach_reset: bool = False):

        assert isinstance(tau, float) and tau > 1.

        super().__init__(v_threshold, v_reset, surrogate_function, detach_reset)
        self.tau = tau

    def extra_repr(self):
        return super().extra_repr() + f', tau={self.tau}'

    def neuronal_charge(self, x: torch.Tensor):
        if self.v_reset is None:
            self.v = self.v + (x - self.v) / self.tau

        else:
            if isinstance(self.v_reset, float) and self.v_reset == 0.:
                self.v = self.v + (x - self.v) / self.tau
            else:
                self.v = self.v + (x - (self.v - self.v_reset)) / self.tau

Membrane Potential Neurons
膜电位神经元，引入时间信息

膜电位的输出由这一时刻的输入和上一时刻的电位状态加权组合而成

代码

class MpLIFNode(MpNode):
    def __init__(self, tau: float = 2., v_threshold: float = 1.,
                 v_reset: float = 0., surrogate_function: Callable = surrogate.Sigmoid(),
                 detach_reset: bool = False):
        assert isinstance(tau, float) and tau > 1.

        super().__init__(v_threshold, v_reset, surrogate_function, detach_reset)
        self.tau = tau

    def extra_repr(self):
        return super().extra_repr() + f', tau={self.tau}'
 
    def neuronal_charge(self, x: torch.Tensor):
        if self.v_reset is None:
            self.v = self.v + (x - self.v) / self.tau

        else:
            if isinstance(self.v_reset, float) and self.v_reset == 0.:
                self.v = self.v + (x - self.v) / self.tau
            else:
                self.v = self.v + (x - (self.v - self.v_reset)) / self.tau

网络架构
第一种：EVSNN
在这里插入图片描述
第二种：PA-EVSNN

其中，每一层的SNN神经元网络

可以由构成
在这里插入图片描述
其代码层的组成为一层卷积，一层batchnorm归一化和一层LIFNode,实现局部连接的神经元

        self.static_conv = nn.Sequential(
            nn.Conv2d(1, 32, kernel_size=5, padding=2, bias=False),
            nn.BatchNorm2d(32),
            LIFNode(v_threshold=v_threshold, tau = tau, v_reset=v_reset, surrogate_function=surrogate.ATan()),
        )