有关人工神经网络的学习笔记

人工神经网络学习笔记

人工神经网络

概念

人工神经网络是多输入单输出的非线性元件。

人工神经网络模型

人工神经网络模型包括前馈型神经网络（每一层神经元只接受前一层神经元输入）和反馈型神经网络（每个神经元接受其他神经元输出作为输入，自己输出的信号又经过其他神经元反馈回自己）。

神经网络学习

学习本质

神经网络的学习过程是连接权重根据一定规则动态调整的过程，通过修改权重适应输出。

学习方法

1.有教师学习：将输入与期望输出的数据都加载给网络，网络通过比对实际输出与期望输出的差异调整连接权重。

2.无教师学习：只将输入加载给网络，不再通过实际输出与期望输出调整权重，而是根据一定判断标准自行调整权重。

3.再励学习：A对B产生一个动作，B接受到动作后会改变状态，将这状态传回A，同时也会给A传达一个奖或惩的信号，A根据这两项选择下一个动作，下一个动作的选择标准是要收到更多奖的信号。

学习规则

1.Hebb学习规则：一个神经元从另一个神经元接受一个输入，如果两者都处于一个高度活跃的状态，两个神经元连接权重就会加强。

2.Delta学习规则：也叫widrow-hoff学习规则、最小误差规则。即以减小实际输出与应有输出之间误差的原则改变神经元之间的连接权重。

BP神经网络

概念

具有三层或三层以上的单向传播的多层前馈网络。

构造

BP神经网络具有拓扑结构构造。
结构要素为：输入层的单元数、隐藏层数以及每一个隐藏层单元数、输出层单元数。输入层、隐层数和隐层节点数遵循一定的设计原则。

算法基本思想

最小二乘法，使用梯度搜索技术，将权系数按二次型误差函数梯度增加的反方向进行调整，使实际输出与期望输出之间的方差最小。

需要求误差函数E（如下）对连接权重w的偏导（可以简单将E理解为我们函数常用的因变量y，w理解为函数常用的自变量x）导数即变化率，梯度是方向导数最大的量，沿着梯度可以实现最大变化，如同上下山最快的路径，梯度增加的反方向也就是梯度下降的方向，也就是使E向减小的方向变化，如同下山，而我们要做的就是尽量使误差减小，即E减小。

误差函数

输出层权系数调整

隐藏层神经元节点权系数调整

当j层的输出Oj与K层输出期望输出的误差E无关时，需要引入K层的输入为中间值，间接求出E对Oj的偏导，结果与前面的反传误差信号时有关的。