神经网络学习

1. 感知器。

感知器其实就是单个的神经网络单元。以一个实数向量作为输入，计算这些输入的线性组合，如果结果大于阈值，则输出1，否则输出-1。

感知器可以表示很多布尔函数，比较适用于线性可分的数据。

训练方法有两种，感知器训练法则和梯度下降法则。

(1) 感知器训练法则：

对权值向量，从一个随机值开始，反复应用向量到每个样例，只要出现误分类，就修改权值，直到正确分类所有的样例。

wj=wi + 增量；

增量= a (t-o) xi

其中a是学习速率，t是目标输出，o是感知器当前输出,xi是输入。

该规则应用的前提是数据线性可分。

(2) 梯度下降法则：

梯度指的是由权值向量每一维偏导数组成的向量。

 

初始化每个wi为随机值，初始化每一维的增量为0

对于每个训练样例，计算输出o，对每一维权值wi，做

增量=增量+a (t-o) xi，其中a是学习速率

对整个训练集计算一遍之后，每一维wi=wi+增量。