前馈神经网络初步了解

什么是神经网络

前馈神经网络（feedforward neural network，FNN），简称前馈网络，是人工神经网络的一种。前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元。在此种神经网络中，各神经元可以接收前一层神经元的信号，并产生输出到下一层。第0层叫输入层，最后一层叫输出层，其他中间层叫做隐含层（或隐藏层、隐层）。隐层可以是一层。也可以是多层  。

（点击蓝色字体进行跳转）

整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示 

一个典型的多层前馈神经网络如图所示

 

 前馈神经网络结构设计

     对于前馈神经网络结构设计，通常采用的方法有3类：直接定型法、修剪法和生长法。

     直接定型法设计一个实际网络对修剪法设定初始网络有很好的指导意义；

    修剪法由于要求从一个足够大的初始网络开始，注定了修剪过程将是漫长而复杂的，更为不幸的是，BP训练只是最速下降优化过程，它不能保证对于超大初始网络一定能收敛到全局最小或是足够好的局部最小。因此，修剪法并不总是有效的，生长法似乎更符合人的认识事物、积累知识的过程，具有自组织的特点，则生长法可能更有前途，更有发展潜力。

前馈神经网络的类别

单层前馈神经网络

单层前馈神经网络是最简单的一种人工神经网络，其只包含一个输出层，输出层上节点的值（输出值）通过输入值乘以权重值直接得到。取出其中一个元进行讨论，其输入到输出的变换关系为

  

 

多层前馈神经网络

多层前馈神经网络有一个输入层，中间有一个或多个隐含层，有一个输出层。多层感知器网络中的输入与输出变换关系为

 这时每一层相当于一个单层前馈神经网络，如对第q层，它形成一个n（q-1下标）

维的超平面。它对于该层的输入模式进行线性分类，但是由于多层的组合，最终可以实现对输入模式的较复杂的分类

特点 

前馈神经网络结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。从系统的观点看，前馈网络是一种静态非线性映射．通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。从计算的观点看．缺乏丰富的动力学行为。大部分前馈网络都是学习网络，其分类能力和模式识别能力一般都强于反馈网络。

 常见前馈神经网络

感知器网络

（又叫感知机）是最简单的前馈网络，它主要用于模式分类，也可用在基于模式分类的学习控制和多模态控制中。感知器网络可分为单层感知器网络和多层感知器网络。

BP网络

BP网络是指连接权调整采用了反向传播（Back Propagation）学习算法的前馈网络。与感知器不同之处在于，BP网络的神经元变换函数采用了S形函数（Sigmoid函数），因此输出量是0~1之间的连续量，可实现从输入到输出的任意的非线性映射。

RBF网络

RBF网络是指隐含层神经元由RBF神经元组成的前馈网络。RBF神经元是指神经元的变换函数为RBF（Radial Basis Function，径向基函数）的神经元。典型的RBF网络由三层组成：一个输入层，一个或多个由RBF神经元组成的RBF层（隐含层），一个由线性神经元组成的输出层。