FNN
神经元:基本运算单元.
输入: z=∑ωx+b
输出: a=f(z)
其中 a=f(z) 是激活函数,激活函数一般会有两种选择:
sigmoid函数: f(x)=1a+e−z ,输出范围(0,1)
tanh函数: f(z)=ez−e−zez+e−z ,输出范围(-1,1)
可以看出一个神经元就是一个复合函数,z是一个线性函数,f是一个非线性数,展开可以写成 a=f(∑ωx+b) .
神经层:多个神经元组成一个神经层。
神经网:多个神经层层叠起来形成网,每层的输入是上一层的输出。
基本符号
已知参数:
L
:神经网络层数
训练参数:
bl
:第
l
到
中间变量
zl
:第
l
层神经元的状态。
前馈计算
基本公式
al+1=fl(zl)
综上可得:
zl+1=ωlal+bl=ωlfl(zl)+bl
第
l+1
层状态和
l
层状态的关系。
前馈计算
如果已经知道每一层的w和b值(也就是给定神经网络模型)。由第一层,我们可以计算出第2层的状态,然后通过第二层的激活函数算出第二层的激活值a2, 继续我们计算第三层的状态值和激活值,直至最后一层。