神经网络由三层组成,分别是输入层,输出层和隐蔽层。根据需要,隐蔽层可以是一层,二层或者三层。一般来说,使用一层隐蔽层,以及输出层使用非线性函数已经可以适用绝大数问题。多加一层隐蔽层并不会带来结果上的明显改进,反而会加大训练的时间。
以下的公式均假设在BP网络中使用logistic激活函数,输出层也使用该激活函数。
连接的权值:相邻两层节点的单元均互相连接。即前一层中的每一个单元均和(且只和)后一层网络中的每一个单元相连接,且该权重一般初始化为[-0.1,0.1]之间的一个随机小数,用Wij表示,即前一层的节点i与后一层的节点j之间相连接的权值。
输入层:输入层的