【数据挖掘】笔记三-神经网络分类

概念

• 生物神经元模型

  • 高中生物hhh
    
  • 神经元两种状态
    兴奋与抑制

• 人工神经元模型

  

  • 输入输出关系
    $$\begin{gathered} I_i=\sum _{j=0}^n{w}_{ji}{x}_j \\ {y}_i=f(I_i) \end{gathered}$$
    其中$x_j、w_{ji}$意义如上图，特别注意的是$x_0=1、w_{0i}=-\theta$；
    $f()$为变换函数，决定神经元节点的输出。

• 人工神经网络模型

  • 很多，，，
  • 前馈型神经网络
    
  • 反馈神经网络
    
    每个神经元都接受其他神经元输出作为输入，自己输出的信号经过其他神经元又反馈回自己

• 神经网络的学习

  • 学习机理

    • 学习要依据一定准则，即学习规则
    • 栗子：家长往往对按时、准确完成家庭作业的孩子给予奖励与表扬，否则给与批评。这其中包 含一个规则：对于正确的行为给予加强（表扬），对于不正确的行为给予抑制（批评）。
    • 人工神经网络的学习规则：网络连接权的调整规则。
    • 权重的动态调整是人工神经网络学习的最基本过程。这一过程就是网络修改它的权重来适应外部输入的过程。

  • 学习方法

    • 有监督学习
    • 无监督学习
    • 强化学习

  • 学习规则

    • Hebb学习规则

      如果一个神经元从另一个神经元接受一个输入，并且如果两个神经元都处于高度活动状态，这时两个神经元的连接权重就要被加强

      数学描述
      $$w_{ij}(k+1)=w_{ij}(k)+I_i{I}_j$$
      其中，$w_{ij}(k)$为链接从神经元i到神经元j当前的权值；$Ii，Ij$为神经元的激活水平

    • δ学习规则

      改变单元间的连接权重来减小系统实际输出与应有输出间的误差。

      数学描述
      $$E=\frac{1}{2}\sum _{p=1}^p(d_p-y_p{)}^2$$
      其中，$d_p$代表的期望输出（教师信号）；$y_p=f(W{X}_p)$为网络的实际输出；W是网络的所有权值组成的向量：$W=(w_0,w_1\dots ..w_n{)}^T$
      $X_p$为输入模式：$Xp=(x_{p0},x_{p1}\dots ..x_{pn}{)}^T$，训练样本数$p=1,2\dots P$
      使用梯度下降法求出向量W使得E最小

• BP神经网络

  • 推导证明啥的不管了，上栗子
  • 公式
    $$I_j=\sum _i{w}_{ij}{O}_i+{\theta }_j$$
    $O_i$相当于$x_i$，$w_{ij}$为权重
    $$O_j=\frac{1}{1+e^{-I_j}}$$
    这里的O_j为激励函数
    $$Er{r}_k=O_k(1-O_k)(T-O_k)$$
    $Er{r}_k$为误差，T为输出值
    $$Er{r}_j=O_j(1-O_j)\sum _{k}Er{r}_k{w}_{jk}$$
    $Er{r}_j$为前一层节点的误差
    $$\Delta w_{ij}=\eta Er{r}_j{O}_i$$
    $\eta$为学习率
    $$w_{ij}=w_{ij}+\Delta w_{ij}$$
    $$\Delta {\theta }_j=\eta Er{r}_j$$
    $${\theta }_j={\theta }_j+\Delta {\theta }_j$$
    某BP神经网络初始状态如下，假定学习率为0.9：

x1	x2	x3	w14	w15	w24	w25	w34	w35	w46	w56	θ4	θ5	θ6	T
1	0	1	0.2	-0.3	0.4	0.1	-0.5	0.2	-0.3	-0.2	-0.4	0.2	0.1	1

单元j	净输入$I_j$	输出$O_j$
4	$x_1{w}_{14}+x_2{w}_{24}+x_3{w}_{34}+{\theta }_4=0.2+0-0.5-0.4=-0.7$	$1/(1+e^{0.7})=0.332$
5	$x_1{w}_{12}+x_2{w}_{25}+x_3{w}_{35}+{\theta }_5=-0.3+0+0.2+0.2=-0.1$	$1/(1+e^{-0.1})=0.525$
6	$O_4{w}_{46}+O_5{w}_{56}+{\theta }_6=-0.3(0.332)-0.2(0.525)=-0.105$	$1/(1+e^{0.105})=0.474$

单元j	$Er{r}_j$
6	$O_6(1-O_6)(T-O_6)=0.474(1-0.474)(1-0.474)=0.1311$
5	$O_5(1-O_5){\sum }_{k}Er{r}_k{w}_{5k}=0.525(1-0.525)(0.1311)(-0.2)=-0.0065$
4	$O_4(1-O_4){\sum }_{k}Er{r}_k{w}_{4k}=0.332(1-0.332)(0.1311)(-0.3)=-0.0087$

权重/偏倚	新值
$w_{46}$	$w_{46}+\Delta w=w_{46}+\eta Er{r}_6{O}_4=-0.3+0.9(0.1311)(0.332)=-0.261$
$w_{56}$	$w_{56}+\Delta w=w_{56}+\eta Er{r}_6{O}_5=-0.2+0.9(0.1311)(0.525)=-0.138$
$w_{14}$	$w_{14}+\Delta w=w_{14}+\eta Er{r}_4{O}_1=0.2+0.9(-0.0087)(1)=0.192$
$w_{15}$	$w_{15}+\Delta w=w_{15}+\eta Er{r}_5{O}_1=-0.3+0.9(-0.0065)(1)=-0.306$
$w_{24}$	$w_{24}+\Delta w=w_{24}+\eta Er{r}_4{O}_2=0.4+0.9(-0.0087)(0)=0.4$
$w_{25}$	$w_{25}+\Delta w=w_{25}+\eta Er{r}_5{O}_2=0.1+0.9(-0.0065)(0)=0.1$
$w_{34}$	$w_{34}+\Delta w=w_{34}+\eta Er{r}_4{O}_3=-0.5+0.9(-0.0087)(1)=-0.508$
$w_{35}$	$w_{35}+\Delta w=w_{35}+\eta Er{r}_5{O}_3=0.2+0.9(-0.0065)(1)=0.194$
${\theta }_6$	${\theta }_6+\Delta \theta ={\theta }_6+\eta Er{r}_6=0.1+0.9(0.1311)=0.218$
${\theta }_5$	${\theta }_5+\Delta \theta ={\theta }_5+\eta Er{r}_5=0.2+0.9(-0.0065)=0.194$
${\theta }_4$	${\theta }_4+\Delta \theta ={\theta }_4+\eta Er{r}_4=-0.4+0.9(-0.0087)=-0.408$