感知机(Perceptron)
感知机模型如下图所示:
输入层接受多个二值输入, 输出层提供一个二值输出(M-P神经元). 用数学公式来描述就是:
y={0,1,∑jwjxj+b≤0∑jwjxj+b>0
这里, y 是指输出,
多个感知机可以构成神经网络, 如下图:
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/96cba55bd1a4468bb3c39f687fa91c81.png)
Sigmoid Neurons
M-P神经元的输出是一个阶跃函数, 阶跃函数是非连续的, 这样不利于逼近学习, 所以使用Sigmoid神经元作为输出层, 其数学表示为:
sigmoid(z)=11+e−z
也记为:
σ(z)=11+e−z
σ(z) 的导数有个很好的特性, 推导如下:
σ′(z)=e−z(1+e−z)2
因为
1−σ(z)=1−11+e−z=e−z1+e−z
所以
σ′(z)=σ(z)(1−σ(z))
这个性质对于神经网络的学习计算过程非常有利.
Reference
- http://neuralnetworksanddeeplearning.com/ 强烈推荐
- 机器学习 - 周志华 清华大学出版社