神经网络

1.定义：
人工神经网络（Artificial Neural Networks，简写为ANNs）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，并具有自学习和自适应的能力。
人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。

2.基本介绍
人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

3.基本结构
一种常见的多层结构的前馈网络（Multilayer Feedforward Network）由三部分组成：
（1）输入层（Input layer），众多神经元（Neuron）接受大量非线形输入信息。输入的信息称为输入向量。
（2）输出层（Output layer），信息在神经元链接中传输、分析、权衡，形成输出结果。输出的信息称为输出向量。
（3）隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有多层，习惯上会用一层。隐层的节点（神经元）数目不定，但数目越多神经网络的非线性越显著，从而神经网络的强健性（robustness）（控制系统在一定结构、大小等的参数摄动下，维持某些性能的特性。）更显著。习惯上会选输入节点1.2至1.5倍的节点。

4.基本特征
人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征：非线性、非局部性、非常定性、非凸性。

5.人工神经网络分类
（1）依学习策略（Algorithm）分类主要有
监督式学习网络（Supervised Learning Network）为主
无监督式学习网络（Unsupervised Learning Network）
混合式学习网络（Hybrid Learning Network）
联想式学习网络（Associate Learning Network）
最适化学习网络（Optimization Application Network）

（2）依网络架构（Connectionism）分类主要有:
前向式架构（Feed Forward Network）
回馈式架构（Recurrent Network）
强化式架构（Reinforcement Network）
6.算法学习过程
Phase 1:神经传递

1. 通过神经网络进行训练模式输入的向前传播以产生传播的输出激活。
2. 训练模式中通过神经网络对传播的输出激活进行反向传播，目标是生成所有输出和隐藏神经元的增量以便进行反馈调整。
   Phase 2: 权值更新
3. 用它的输出增量和输入激活变量来得到权重的梯度。
4. 通过从权重中减去它的比例来使权重朝着相反的梯度方向移动（最小梯度法）。

算法递进过程图解：（Source:）
该项目描述了利用反向传播算法实现多层神经网络的教学过程。为了说明这一过程，有两个输入和一个输出的三层神经网络，如下图所示:

（1）每个神经元由两个单位组成。第一个单元添加权重系数和输入信号，第二个单元实现非线性功能，称为神经元激活功能。信号e是加法器输出信号，y=f(e)是非线性元件的输出信号。信号y也是神经元的输出信号。如下图：

（2）为了训练神经网络，我们需要训练数据集。训练数据集由输入信号(x1和x2)组成，并分配相应的目标(期望输出)z。网络训练是一个迭代的过程。在每个迭代中权重系数的节点使用新的训练数据集的数据被修改。修改计算使用下面描述的算法:每个教学步骤开始迫使这两个输入信号从训练集,在这个阶段我们可以确定每个网络层中的每个神经元的输出信号值。下面的图片说明了信号是如何传播的。

同理如下：

（3）通过隐藏层传播信号。符号wmn表示下一层神经元的输出和神经元n的输入之间的连接。

（4）通过输出层传播信号

（5）在接下来的算法步骤中，将网络y的输出信号与期望的输出值(目标)进行比较，在训练数据集中找到了输出信号。这种差异被称为输出层神经元的错误信号d。