【数据挖掘】神经网络 后向传播算法 向前传播输入 案例计算分析 ( 网络拓扑 | 输入层计算 | 隐藏层计算 | 输出层计算 )

I . 神经网络 后向传播算法 计算 隐藏层 与 输出层 的输入输出实例分析

---

以下面的三层神经网络为例 , 网络拓扑结构如下 :

1 . 网络拓扑 : 该神经网络本质是有向图 , 由节点 和 有向弧组成 ;

① 输入层 : 有 $3$ 个 神经元单元 ( 节点 ) , 分别是 $1,2,3$ 节点 ; 输入属性是经过规范化的属性值 , 取值 $[0,1]$ ;

② 隐藏层 : 有 $2$ 个 神经元单元 ( 节点 ) , 分别是 $4,5$ 节点 , 输入层 与 隐藏层 是全连接方式 ;

③ 输出层 : 有 $1$ 个 单元 , $6$ 节点 ;

2 . 图中的其它已知条件 :

① 输入属性 : 是规范化为 $[0,1]$ 区间的值 ;

② 连接方式 : 该网络结构中的连接方式是全连接方式 , 即每个节点都连接全部的相邻层的节点 ; ( 与之对应的是局部连接 )

③ 连接权值 : 每两个节点间的连接都有一个权值 , 使用 $w_{ij}$ 表示 , 如 $w_{14}$ 表示节点 $1$ 和节点 $4$ 之间连接的权值 ;

④ 偏置 : 输入层 和 隐藏层 的节点 , 每个节点都有一个偏置属性 , 如节点 $1$ 偏置表示为 $b_1$ ;

输入输出表示 :

① 输入表示 : 使用 $I_1$ 表示输入 , $I$ 是 Input 输入 单词首字母 , $I_1$ 表示第 $1$ 个节点的输入 ;

② 输出表示 : 使用 $O_1$ 表示输出 , $O$ 是 Output 输出单词首字母 , $O_1$ 表示第 $1$ 个节点的输出 ;

II . 神经网络 后向传播算法 输入层公式

---

输入层公式 : 不做任何操作 , 只是将样本属性传入即可 , 输入层单元的值 , 就是样本的规范化后的属性值 ;

$$输入值O_j=输出值I_j=样本属性值X_j$$

$$O_j=I_j=X_j$$

$j$ 代表单元的索引值 ;

$O_j$ 代表单元输入值 ;

$I_j$ 代表单元的输出值 ;

$X_j$ 代表规范化后的样本属性值 ;

规范化属性值 : 这个属性值 $X_j$ 是经过规范化的 , 一般是 $[0,1]$ 区间内的值 ;

III. 神经网络 后向传播算法 输入层计算

---

输入层计算 : 输入层的输出值 $O_i$ 就是输入值 $I_i$ , $i=1,2,3$ ;

① 节点 $1$ 计算 : $I_1$ 表示节点 $1$ 输入 , $O_1$ 表示节点 $1$ 输出 , 其中 $I_1=O_1=输入样本值X$ ;

② 节点 $2$ 计算 : $I_2$ 表示节点 $2$ 输入 , $O_2$ 表示节点 $2$ 输出 , 其中 $I_2=O_2=输入样本值X$ ;

③ 节点 $3$ 计算 : $I_3$ 表示节点 $3$ 输入 , $O_1$ 表示节点 $3$ 输出 , 其中 $I_1=O_3=输入样本值X$ ;

IV . 神经网络 后向传播算法 隐藏层 / 输出层 输入公式

---

隐藏层 / 输出层 输入公式 :

单个单元输入计算公式方式 ( 重要 ) : 如果有多个上层单元连接本层的 单元 $j$ , 只有一个单元 , 可以使用下面的公式计算 , 如果上层有多个单元连接本单元 , 本公式不适用 , 需要多个输入值累加 ;
$$输入值=上一层单元输出值\times 连接权值+偏置$$

单元 $j$ 的上层有多个单元连接的输入值计算方式 :
$$I_j=\sum _{i=1}^n(w_{ij}{O}_i+{\theta }_i)$$
$$i=1,\cdots ,n$$

$I_j$ 表示单元 $j$ 的输入 ;

$n$ 表示前一层有 $n$ 个单元与 本层的 单元 $j$ 连接 ; $n\ge 0$ ;

$i$ 表示前一层的单元索引 ;

$w_{ij}$ 表示 前一层的单元 $i$ 与本层的连接的 权值 ;

$O_i$ 表示上一层的输出 ; 这里注意 上一层的输出 与 连接权重 和 偏置 计算后 , 组成下一层的输入 ;
( 上一层的输出值 是 根据上上层的输出 与 上上层 与 连接 偏置计算 得来的 )

${\theta }_i$ 表示上一层单元 $i$ 的偏置 , 该值通常与连接权值组合使用 , 可以看做是连接的附属属性 , 这样好理解 ;

V . 神经网络 后向传播算法 隐藏层 / 输出层 输出公式

---

隐藏层 与 输出层 输出值计算过程 : 使用 激活函数 , 将输入值转为输出值 , 一般使用 Sigmoid 激活函数 ;

$$O_j=\frac{1}{1+e^{-I_j}}$$

Sigmoid 是非线性激活函数 , 作用是将全体实数 映射到 $(0,1)$ 区间上 , 这样就能保证输出的值是一个 $(0,1)$ 之间的值 ;

$O_j$ 代表单元 $j$ 的输出值 ;

$I_j$ 代表单元 $j$ 的输入值 ;

VI . 神经网络 后向传播算法 计算单元 4 输入值 ( 隐藏层 )

---

1 . 计算隐藏层 输入值 : 需要根据 前一层的输入 , 结合 权值 , 偏置 进行线性累加计算 ;

2 . 计算单元 $4$ 的输入值 :

① 计算过程 :

$$I_4=(w_{14}{O}_1+b_1)+(w_{24}{O}_2+b_2)+(w_{34}{O}_3+b_3)$$

② 连接权值 : $w_{14},w_{24},w_{34}$ 是三条有向弧连接的权值 ; 如 $w_{14}$ 是单元 $1$ 与 单元 $4$ 连接的权值 ;

③ 偏置 : $b_1,b_2,b_3$ 分别是 单元 $1,2,3$ 的偏置 ;

④ 上层单个单元输出对应的输入值 :

$(w_{14}{O}_1+b_1)$ 对应单元 $1$ 输出到单元 $4$ 的输入值 ;

$(w_{24}{O}_2+b_2)$ 对应单元 $2$ 输出到单元 $4$ 的输入值 ;

$(w_{34}{O}_3+b_3)$ 对应单元 $3$ 输出到单元 $4$ 的输入值 ;

⑤ 汇总输入值 : 单元 $4$ 的总的输入值就是上述三个值的累加 ;

VII . 神经网络 后向传播算法 计算单元 5 输入值 ( 隐藏层 )

---

计算单元 $5$ 的输入值 :

① 计算过程 :

$$I_5=(w_{15}{O}_1+b_1)+(w_{25}{O}_2+b_2)+(w_{35}{O}_3+b_3)$$

② 连接权值 : $w_{15},w_{25},w_{35}$ 是三条有向弧连接的权值 ; 如 $w_{15}$ 是单元 $1$ 与 单元 $5$ 连接的权值 ;

③ 偏置 : $b_1,b_2,b_3$ 分别是 单元 $1,2,3$ 的偏置 ;

④ 上层单个单元输出对应的输入值 :

$(w_{15}{O}_1+b_1)$ 对应单元 $1$ 输出到单元 $5$ 的输入值 ;

$(w_{25}{O}_2+b_2)$ 对应单元 $2$ 输出到单元 $5$ 的输入值 ;

$(w_{35}{O}_3+b_3)$ 对应单元 $3$ 输出到单元 $5$ 的输入值 ;

⑤ 汇总输入值 : 单元 $5$ 的总的输入值就是上述三个值的累加 ;

VIII . 神经网络 后向传播算法 计算单元 4 输出值 ( 隐藏层 )

---

计算单元 $4$ 输出值 : 使用 Sigmoid 激活函数将输入值转为输出值 ;

$$O_4=\frac{1}{1+e^{-I_4}}$$

Sigmoid 是非线性激活函数 , 作用是将全体实数 映射到 $(0,1)$ 区间上 , 这样就能保证输出的值是一个 $(0,1)$ 之间的值 ;

$O_4$ 代表单元 $4$ 的输出值 ;

$I_4$ 代表单元 $4$ 的输入值 ;

IX . 神经网络 后向传播算法 计算单元 5 输出值 ( 隐藏层 )

---

计算单元 $5$ 输出值 : 使用 Sigmoid 激活函数将输入值转为输出值 ;

$$O_5=\frac{1}{1+e^{-I_5}}$$

Sigmoid 是非线性激活函数 , 作用是将全体实数 映射到 $(0,1)$ 区间上 , 这样就能保证输出的值是一个 $(0,1)$ 之间的值 ;

$O_5$ 代表单元 $5$ 的输出值 ;

$I_5$ 代表单元 $5$ 的输入值 ;

X . 神经网络 后向传播算法 计算单元 6 输入值 ( 输出层 )

---

计算单元 $6$ 的输入值 :

① 计算过程 :

$$I_6=(w_{46}{O}_4+b_4)+(w_{56}{O}_5+b_5)$$

② 连接权值 : $w_{46},w_{56}$ 是 $2$ 条有向弧连接的权值 ; 如 $w_{46}$ 是单元 $4$ 与 单元 $6$ 连接的权值 ;

③ 偏置 : $b_4,b_5$ 分别是 单元 $4,5$ 的偏置 ;

④ 上层单个单元输出对应的输入值 :

$(w_{45}{O}_4+b_4)$ 对应单元 $4$ 输出到单元 $6$ 的输入值 ;

$(w_{46}{O}_5+b_5)$ 对应单元 $5$ 输出到单元 $6$ 的输入值 ;

⑤ 汇总输入值 : 单元 $6$ 的总的输入值就是上述三个值的累加 ;

XI . 神经网络 后向传播算法 计算单元 6 输出值 ( 输出层 )

---

计算单元 $6$ 输出值 : 使用 Sigmoid 激活函数将输入值转为输出值 ;

$$O_6=\frac{1}{1+e^{-I_6}}$$

Sigmoid 是非线性激活函数 , 作用是将全体实数 映射到 $(0,1)$ 区间上 , 这样就能保证输出的值是一个 $(0,1)$ 之间的值 ;

$O_6$ 代表单元 $6$ 的输出值 ;

$I_6$ 代表单元 $6$ 的输入值 ;

$O_6$ 就是最终的分类结果 ;