上海复旦大学吴立德教授深度学习课程二

FNN

神经元：基本运算单元.

输入：$z = \sum \omega x+b$

输出：$a=f(z)$

其中$a=f(z)$是激活函数，激活函数一般会有两种选择：

sigmoid函数：$f(x)=\frac{1}{a+e^{-z}}$,输出范围(0,1)

tanh函数：$f(z) = \frac{e^z-e^{-z}}{e^z+e^{-z}}$,输出范围(-1,1)

可以看出一个神经元就是一个复合函数，z是一个线性函数，f是一个非线性数，展开可以写成$a = f(\sum \omega x+b)$.

神经层：多个神经元组成一个神经层。

神经网：多个神经层层叠起来形成网，每层的输入是上一层的输出。

基本符号

已知参数：
$L$：神经网络层数
$n_l$：第$l$层神经元的个数
$f_l(z)$：第$l$层神经元激活函数

训练参数：
$\omega^l$：第$l$到$l+1$层的连接权重。
$b^l$：第$l$到$l+1$层的偏置。

中间变量
$z^l$：第$l$层神经元的状态。
$a^l$：第$l$层神经元的激活值。

前馈计算

基本公式

$z^{l+1}=\omega^l a^l+b^l$
$a^{l+1}=f_{l}(z^{l})$
综上可得：$z^{l+1}=\omega^la^l+b^l = \omega^lf_l(z^l)+b^l$第$l+1$层状态和$l$层状态的关系。

前馈计算

如果已经知道每一层的w和b值（也就是给定神经网络模型）。由第一层，我们可以计算出第2层的状态，然后通过第二层的激活函数算出第二层的激活值a2， 继续我们计算第三层的状态值和激活值，直至最后一层。
$a^1 \rightarrow z^2 \rightarrow a^2 \rightarrow z^3 \rightarrow \cdots \rightarrow a^L$