感知机(perceptron),是神经元间的直连感知:
来自:https://www.youtube.com/watch?v=3JQ3hYko51Y
其中白色较亮的点是被激活(更兴奋)的神经元。
对于多层感知机,只是层数变多了,依旧是直连加反向传播:
来自:https://www.youtube.com/watch?v=3JQ3hYko51Y
轮到现在流行的CNN, 只是比感知机多了卷积层:
来自:https://www.youtube.com/watch?v=3JQ3hYko51Y
到目前为止可以发现,所有连接权重的更新速度是一样的。即所有神经元的连接,在某个时间点的兴奋度低,但在下一个时间点的兴奋度可能很高!(因为反向传播才不管这么多),细想,不符合那句老话:“Neurons that fire together wire together”。此刻兴奋的神经元在下一时刻应该惯性地也比较兴奋才对。
这就引出了脉冲神经网络(SNN)的想法,神经元兴奋度不应该是一瞬间更新的,而是慢慢衰减的,衰减的过程中有机会向更深的网络激活兴奋区,最后,激活的兴奋区才是最后的预测判别结果:
来自:https://www.youtube.com/watch?v=3JQ3hYko51Y
神经网络的结构
1.经过上面的介绍,单个神经元不足以让人心动,唯有组成网络。神经网络是一种分层结构,一般由输入曾,隐藏层,输出层组成。所以神经网络至少有3层,隐藏层多于1,总层数大于3的就是我们所说的深度学习了。
输入层:就是接收原始数据,然后往隐层送 输出层:神经网络的决策输出
隐藏层:该层可以说是神经网络的关键,相当于对数据做一次特征提取。隐藏层的意义,是把前一层的向量变成新的向量。就是坐标变换,说人话就是把数据做平移,旋转,伸缩,扭曲,让数据变得线性可分。
可能这个不那么好理解,举个栗子:
下面的图左侧是原始数据,中间很多绿点,外围是很多红点,如果你是神经网络,你会怎么做呢?
一种做法:把左图的平面看成一块布,把它缝合成一个闭合的包包(相当于数据变换到了一个3维坐标空间),然后把有绿色点的部分撸到顶部(伸缩和扭曲),然后外围的红色点自然在另一端了,要是姿势还不够帅,就挪挪位置(平移)。这时候干脆利落的砍一刀,绿点红点就彻底区分开了。
重要的东西再说一遍:神经网络换着坐标空间玩数据,根据需要,可降维,可升维,可大,可小,可圆可扁,就是这么“无敌”
通俗易懂 彻底明白什么是神经网络 https://blog.csdn.net/qq_44992589/article/details/90018824