西瓜书学习笔记之神经网络

1. 感知机

感知机是一种最简单形式的前馈神经网络，是二元线性分类模型，输入为实例的特征向量，输出为他的类别（+1/-1），感知机的目的是训练出将数据分隔开的分离超平面。

感知机能轻易完成与、或、非运算，感知机的权重w如此调整：每次改变Δwi，Δwi=η（y-y’）xi ，这里，η是学习率，y-y’是预测值y’和实际值y的差，xi是第i个神经元的输入。因此可以看出如果预测正确则权重不变，预测错误则按照程度大小调整权重。y-y‘一定是处于0-1之间因此每次修正的数值应该是输入的一定比例。

2. 逆误差传播算法（BP算法）
   

给定训练集D（xi，yi），每一个神经元节点的值是这个节点前面所有节点和它们对应的权重的共同影响的结果值。最后输出（y1，y2…yl）的yk值为f（βj-θj），其中βj是计算出来的数值，θj是阈值，f（x）是激活函数。激活函数将较大范围内的输入挤压到一个较小的区间，非线性函数让神经网络更复杂从而提升其表达能力。

当输出（y1，y2…yl）后，我们可以