神经网络笔记

感知机(Perceptron)

感知机模型如下图所示:

输入层接受多个二值输入, 输出层提供一个二值输出(M-P神经元). 用数学公式来描述就是:

$$y = \begin{cases} 0, & \sum_jw_jx_j + b \le 0 \\ 1, &\sum_jw_jx_j+ b \gt 0 \end{cases}$$
这里, $y$是指输出, $x_i$指输入, $w_i$是输入的权重, $j$是输入管脚个数, $b$是指偏移.
多个感知机可以构成神经网络, 如下图:

Sigmoid Neurons

M-P神经元的输出是一个阶跃函数, 阶跃函数是非连续的, 这样不利于逼近学习, 所以使用Sigmoid神经元作为输出层, 其数学表示为:

$$sigmoid(z) = \frac{1}{1+e^{-z}}$$
也记为:
$$\sigma(z) = \frac{1}{1+e^{-z}}$$
$\sigma(z)$的导数有个很好的特性, 推导如下:
$$\sigma^{'}(z)=\frac{e^{-z}}{(1+e^{-z})^2}$$
因为
$$1-\sigma(z) = 1 - \frac{1}{1+e^{-z}}=\frac{e^{-z}}{1+e^{-z}}$$
所以
$$\sigma^{'}(z)=\sigma(z)(1-\sigma(z))$$
这个性质对于神经网络的学习计算过程非常有利.

Reference

• http://neuralnetworksanddeeplearning.com/ 强烈推荐
• 机器学习 - 周志华 清华大学出版社