Conversion of Continuous-Valued Deep Networks to Efficient Event-Driven Networks for Image

2.2 脉冲转换 ANN 操作

2.2.1 转换偏置

偏置在ANN中是标准的，但是在转换前的SNN是需要去掉的。

2.2.2 参数归一化

一个复杂问题的根源在于SNN的模拟时间步，神经元的放电速率被限制在$[0,r_{max}]$,然而，在典型的ANN中是没有这个限制的。权重正则化是一种手段，去防止类似的错误：太低或者太高的放电率。

2.2.2.1 偏置的正则化

假设最大的激活值是ReLU在第$l$层是${\lambda }^l$,那么权重和偏置应该按照如下的规则进行正则化：
$W^l\to W^l{\lambda }^{l-1}/{\lambda }^l$
$b^l\to b^l/{\lambda }^l$