一、快速理解神经网络
1.神经网络的生物定义及其在深度学习上的延伸
在生物神经网络中,每个神经元与其他神经元相连,当它兴奋时,就会向相连的神经元发送化学物质,从而改变这些神经元内的电位;如果某神经元的电位超过了一个阈值,那么它就会激活,即兴奋起来。向其他神经元发送化学物质。
最简单的神经元模型:M-P神经元模型
图1
由此图可以产生多种理解,最为广泛且推荐的理解是将其理解为复合函数
例:神经元接受输入x,通过带权重w的连接进行传递,将总输入信号与神经元的阈值进行比较,最后通过激活函数处理确定其是否得到激活。
对牵扯到的几个定义进行解释:
a.神经元模型
神经元模型是简单单元,图1所示即为神经元模型
b.阈值
阈值,即bias,算式中可将阈值看作固定输入为-1的哑节点对应的连接权重。
c.激活函数
Sigmoid(图2),Relu(图3),Tanh