神经网络
定义
大量(结构简单、功能接近)的神经元节点按一定体系架构连接成的网状结构。
作用
- 分类
- 模式识别
- 连续值预测
目标
建立输入与输出的映射关系
神经元模型
定义
每个神经元都是一个结构相似的独立单元,它接受前一层传来的数据,并将这些数据的加权输入非线性作用函数中,最后将非线性作用函数的输出结果传递给后一层。
非线性函数f称为激活函数。
激活函数
上图为两种激活函数,分别为sigmoid函数跟tanh函数。
他们分别能把输入映射为(0,1)和(-1,1)。
另外分别对他们求导有如下特征:
可以简化后面的计算过程。
基础神经网络
一般有输入层,隐含层和输出层。
传统的浅层网络,一般有3-5层。
Delta学习规则
跟后面例子没什么关系,主要在于提示神经网络的调整方式。
前馈神经网络
- 无反馈
- 同层神经元无互相连接
目标函数
梯度下降
梯度计算
1.输出层权重改变量
2.隐藏层权重改变量
误差传播公式
上面yj是单个神经元的输入,配合隐含层计算得上一层的权重。
BP算法
1986年Rumelhart等提出的误差反向传播法,即BP(error BackPropagation)
例子