机器学习－神经网络算法公式

摘抄自ULFDL

图1 神经网络图

$n_l$：网络的层数，如上图为 3

$L_i$：网络的第 i 层

$b^{l}_i$：第 $l+1$ 层第 i 单元的偏置项

$S_i$：第 i 层有多少节点（偏置项除外）

$z^{(l)}_i$：第 $l$ 层第 i 单元加权和（包括偏置单元）

$f(*)$：激活函数，有sigmoid函数、tant函数等

$a_i^{(l)}$：第 $l$ 层第 i 单元的激活值（输出值），$a^{(l)}_i = f(z^{(l)}_i)$

$W^{(l)}_{ij}$：权重，表示第 $l$ 层第 j 单元与第 $l+1$ 层第 i 单元之间的联接参数