SNN ANN 多模态融合 神经网络发展过程的两个分支

人工神经网络ANN和脉冲神经网络SNN， 所谓的ANN和SNN， 事实上是神经网络发展过程的两个分支。 欲了解其背景先了解其历史。

作者：许铁-巡洋舰科技
链接：https://www.zhihu.com/question/338090715/answer/772503438
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

神经网络的故事从模拟单个神经元开始： 神经元是神经网络信息传输的“原子”。通过一定的方法连接这些原子，就可以得到具有智能的系统， 这算是整个人工智能“连接主义”流派的哲学根基。那么如何构建这个认知的“原子” ？ 我们来看看最早的把连接主义引入机器学习的尝试。 最早的模拟大脑的单个神经元的尝试， 是Warren McCulloch 和 Walter Pitts 在1943 提出而来神经元的模型。 这个模型类似于某种二极管或逻辑门电路。 一定的输入进来，被神经元汇集加和， 如何这个和的总量大于一个阈值，神经元就放电， 小于一个阈值，神经元就不放电。 这个东西就好像某个微小的决策装置， 把很多因素加载在一起， 做一个最终的决策。 我们想象无数的二极管可以构成一个计算机，那么无数这这样的神经元不就可以构成一个具有计算功能的大脑吗？ 这就是感知器的概念。这个高度简化的神经元事实上就是后来的人工神经网络ANN的基础， 简化得到的神经元事实上每一个的数学形式等价于一个加入了非线性过滤的线性回归。如果把无数这样的神经元连接起来， 就构成了所谓的人工神经网络（ANN）。当下的深度学习工具， 无论是CNN还是RNN， 都是在这个方程基础上把更多的神经元连接起来加入不同的限制条件得来的。然而事实上， 这个架构与真正的生物神经网络相差极远， 这个差距首要集中在单个神经元模型上。 刚刚的方程是一个把原来的生化过程简化到不能再简的结果。 这里面最致命的区别在于， spike。 通过观察上述方程我们可以看出， 神经网络输出y是一个实数。而事实上， 真实的生物神经元输出， 更加基接近的是一个0，1过程， 当神经元经历的电压超过一个数值， 它就放电。 那是不是说明这个spiking反而更简单？ 其实不是， 这里面人们忽略掉的一个信息就是spike timing以及背后的电压变化。 真实神经元的放电过程由一组微分方程(Hodykin Huxley equations 1952)表达 :这组微分方程的解就是spiking的过程， 如下图是电压随时间的变化， 当电压积累达到一定阈值， 这个爆发的尖峰就是spike，通过spike ， 神经元可以向其它神经元发射信号。我们所谓的脑电波， 无非是大量这样的神经元的集体放电在颅外所检测到的一组信号。