1.1 人工神经网络简介
神经网络,是一种在生物神经网络启示下建立的数据处理模型。神经网络由大量的人工神经元相互连接进行计算,根据外界的信息改变自身的结构,主要通过调整神经元之间的权值来对输入的数据进行建模。
神经网络可以看做是有向图,图1-2位单层感知器的结构,图1-3是反馈神经网络。
就如同人刚出生的时候,神经元存储的信息相当于一张白纸。在环境中各种信号的刺激下,神经元之间的链接关系逐渐发生了改变,最终对信号作出正确的反应。
在人工神经网络中,最重要的概念莫过于神经元节点和权值。节点对应有向图中的节点,全指标是节点间互相连接的强度,其连接权值都是可以调整的,它将一系列仅具有简单处理能力的节点通过权值相连,当权值调整至适当值得时候,它就能输出正确地结果
1.2 神经网络的特点及应用
神经网络具有强大的模式识别和数据拟合能力,不同的神经网络适用于不同的问题
1.2.1神经网络特点
- 1.自学习型和自适应性
- 2.非线性
- 3.鲁棒性和容错性
- 4.计算的并行性和存储的分布性
- 5.分布式存储
1.2.2神经网络的应用
- 1.模式分类
- 2.聚类
- 3.回归与拟合
- 4.优化计算
- 5.数据压缩
1.4 神经网络模型
- 按结构分类:
- 前向神经网络
- 单层前向神经网络:单层感知器,线性网格
- 多层感知器:径向基函数网络
- 数据只从输入层经过隐含层流向输出层
- 反馈网络
- Hopfield网络和Elman网络
- 输出值又回到输入层,在整个网络循环流动。
- 竞争神经网络 图1-5
- 随机神经网络
- 前向神经网络
1.5 神经网络的学习方式
- 学习方式:
- 有监督学习:网络将引导信号作为期望输出,训练时计算实际输出与期望输出之间的误差,再根据误差的大小和方向对网络权值进行更新。误差可以使用各节点的均方误差来衡量,这样就建立了以网络权值为自变量,以最终误差性能为函数值的性能函数,网络的训练转化为求解函数最小点的问题。有监督学习可以有效地完成模式分类、函数拟合等功能。
- 无监督学习。在无监督学习中,网络只接受一些列的输入样本,对输出值一无所知。网络凭借个输出样本之间的关系进行更新。
- 学习规则:
- Hebb学习规则:如果权值两端连接的两个神经元被异步激活,则该权值的能量将被选择性的减小。假设千亿神经元的输出为a,后一神经元的输出为b,学习因子为η,则权值调整量为:△w = ηab
- Widrow-Hoff学习规则。又称为Delta学习规则或纠错学习规则。假设期望输出为d,实际输出为y,则误差为e = d - y,训练的目标是是的误差最小,因此全职的调整量与误差大小成正比:△w = ηey
- 随机学习规则,也成为Boltzmann学习规则,事实上就是模拟退火。
- 竞争学习规则。网络输出神经元之间相互竞争,在典型的竞争网络中,只有一个获胜神经元可以进行权值调整,体现了神经元的侧向抑制。
参考资料:《Matlab神经网络与实例精解》