dnn解读_深度神经网络(DNN)=人类大脑皮层结构？

深度学习和神经科学这两个学科现在都很大，我们在学习的过程中总是难以

正确解读深度学习和神经科学之间的联系。

神经元在深度学习领域，神经元是最底层的单元，如果用感知机的模型，

wx + b

，

加上

一个激活函数构成了全部，输入和输出都是数字，研究的比较清楚，别的不说，在参数已

知的情况下，有了输入可以计算输出，有了输出可以计算输入。

但在神经科学领域，神经元并不是最底层的单位，举例来说，有人在做神经元膜离子通道

相关的工作。一个神经元的输入，可以分为三部分，从其他神经元来的电信号输入，化学

信号输入，还有编码在细胞内的信号(兴奋，抑制类型，这里可以类比为

激活函数？)

，

输出也是三个，

电输出，

化学输出，

改变自身状态

(

LTP

长时程增强，

LTD

长时程抑制)

。

我们是否足够了解神经元？

我个人十分怀疑这一点，前几天还看到一个关于神经元的进

展，

大意是神经元不仅能对单一信号产生反应，

还能对一定一定间隔的信号产生反应。

神

经元的底层编码能力其实更强。我们神经科学发展了这么久，

可能真的连神经元都没真正

的搞清楚。

在这另外说一句，

深度神经网络里面，

大部分节点都是等同的，

但是在人类神经网络里面，

并不是这样。不同的脑区，甚至脑区内部，神经元的形态都可以有很大的差异，如

V1

内

部的六层就是基于神经元形态的区分。从这个角度，人类神经系统要更复杂一些。我个人

并不否认每一种神经元可以用不同初始化参数的节点来代替，

但是目前来说，复杂度还是

要比深度神经网络要高。

信号编码方式再说编码方式，

神经科学里面的神经元是会产生

0-1

的动作电位，

通过动作

电位的频率来编码相应的信号(脑子里面的大部分是这样，外周会有其他形式的)

，而人

工神经网络？大部分我们听到的，

看到的应该都不是这种方式编码的，

但是脉冲神经网络

这个东西确实也有，

(

今天去

ASSC

开会的时候看到了一个很有趣的工作，

以后有空再写。

)

神经网络的结构目前的深度神经网络主要是三种结构，

DNN

(全连接的)

，

CNN

(卷积)

，

RNN

(循环)

。还有一些很奇怪的，

比如说

AttenTIon

的？不好意思，文章还没看，不敢