前馈神经网络完整数学表述

1. 网络结构定义:

使用列向量描述网络结构：

输入层：

$X=[x_1,x_2,......,x_m{]}^T$

隐藏层：

$H_1=[h_1^{(1)},h_2^{(1)},......,h_p^{(1)}{]}^T$

$H_2=[h_1^{(2)},h_2^{(2)},......,h_q^{(2)}{]}^T$

输出层：

$Y=[y_1,y_2,......,y_n{]}^T$

---

2. 前向输出描述：

---

输入层到第一隐藏层：

$o_j=sigmoid({\sum }_{i=1}^m{w}_{ij}{x}_i+b_j),j\in [1,p]$

第一隐藏层到第二隐藏层：

$o_k=sigmoid({\sum }_{j=1}^p{w}_{jk}{o}_j+b_k),k\in [1,q]$

从第二隐藏层到输出层：

$o_l=sigmoid({\sum }_{k=1}^q{w}_{kl}{o}_k+b_l),l\in [1,n]$

---

前向输出矩阵化描述：

上述过程可以使用矩阵乘法进行统一化：

假设第$I$层有$i$个节点、第$J$层有$j$个节点，那么有权值矩阵

W I J = [ w 11 w 12 . . . w 1 j w 21 w 22 . . . w 2 j . . . . . . . . . . . .