监督学习与非监督学习简述（Updating）

监督学习与非监督学习简述

监督学习

监督训练是将将一组训练集送入网络，根据网络的实际输出与期望输出之间的差别来调整连接权

监督学习算法的步骤

1. 从样本集合中取一个样本（$A_i$,$B_i$），其中$A_i$是输入，$B_i$是期望输出。
2. 计算网络的实际输出O
3. 求D = $B_i$-O
4. 根据D调整权矩阵W
5. 对每个样本重复以上过程，直到误差对整个样本集来说不超过规定范围为止 。

监督学习算法：Delta学习规则

Delta学习规则是一种简单的监督学习算法，该算法根据神经元的实际输出与期望输出之间的差别来调整连接权。其数学表达式如下（损失函数）：

$$w_{ij(t+1)}=w_{ij(t)}+\alpha (d_i)x_{j(t)}$$

• $w_{ij}$神经元j---->i的连接权
• $d_i$是神经元i的期望输出
• $y_i$是神经元i的实际输出
• $x_j$表示神经元j的状态，处于激活态为1 ，若处于抑制状态为0或-1（具体由激活函数定）
• $\alpha$表示学习速度的常数

简单的说，Delta规则就是：若神经圆实际输出比期望值大，则减小所有输入为正的连接的权重，增大所有输入为负的连接的权重；若神经元实际输出比期望值小，则反之。