神经网络简单的入门知识

1.1 人工神经网络简介

神经网络，是一种在生物神经网络启示下建立的数据处理模型。神经网络由大量的人工神经元相互连接进行计算，根据外界的信息改变自身的结构，主要通过调整神经元之间的权值来对输入的数据进行建模。
神经网络可以看做是有向图，图1-2位单层感知器的结构，图1-3是反馈神经网络。


就如同人刚出生的时候，神经元存储的信息相当于一张白纸。在环境中各种信号的刺激下，神经元之间的链接关系逐渐发生了改变，最终对信号作出正确的反应。
在人工神经网络中，最重要的概念莫过于神经元节点和权值。节点对应有向图中的节点，全指标是节点间互相连接的强度，其连接权值都是可以调整的，它将一系列仅具有简单处理能力的节点通过权值相连，当权值调整至适当值得时候，它就能输出正确地结果

1.2 神经网络的特点及应用

神经网络具有强大的模式识别和数据拟合能力，不同的神经网络适用于不同的问题

1.2.1神经网络特点

• 1.自学习型和自适应性
• 2.非线性
• 3.鲁棒性和容错性
• 4.计算的并行性和存储的分布性
• 5.分布式存储

1.2.2神经网络的应用

• 1.模式分类
• 2.聚类
• 3.回归与拟合
• 4.优化计算
• 5.数据压缩

1.4 神经网络模型

• 按结构分类：
  • 前向神经网络
    • 单层前向神经网络：单层感知器，线性网格
    • 多层感知器：径向基函数网络
    • 数据只从输入层经过隐含层流向输出层
  • 反馈网络
    • Hopfield网络和Elman网络
    • 输出值又回到输入层，在整个网络循环流动。
  • 竞争神经网络 图1-5
  • 随机神经网络

1.5 神经网络的学习方式

• 学习方式：
  • 有监督学习：网络将引导信号作为期望输出，训练时计算实际输出与期望输出之间的误差，再根据误差的大小和方向对网络权值进行更新。误差可以使用各节点的均方误差来衡量，这样就建立了以网络权值为自变量，以最终误差性能为函数值的性能函数，网络的训练转化为求解函数最小点的问题。有监督学习可以有效地完成模式分类、函数拟合等功能。
  • 无监督学习。在无监督学习中，网络只接受一些列的输入样本，对输出值一无所知。网络凭借个输出样本之间的关系进行更新。
• 学习规则：
  • Hebb学习规则：如果权值两端连接的两个神经元被异步激活，则该权值的能量将被选择性的减小。假设千亿神经元的输出为a，后一神经元的输出为b，学习因子为η，则权值调整量为:△w = ηab
  • Widrow-Hoff学习规则。又称为Delta学习规则或纠错学习规则。假设期望输出为d，实际输出为y，则误差为e = d - y，训练的目标是是的误差最小，因此全职的调整量与误差大小成正比：△w = ηey
  • 随机学习规则，也成为Boltzmann学习规则，事实上就是模拟退火。
  • 竞争学习规则。网络输出神经元之间相互竞争，在典型的竞争网络中，只有一个获胜神经元可以进行权值调整，体现了神经元的侧向抑制。

参考资料：《Matlab神经网络与实例精解》