神经网络编程

神经网络编程入门

本文主要内容包括：

1、 介绍神经网络基本原理

2、 Matlab 实现前向神经网络的方法

3、 AForge.NET实现前向神经网络的方法

第0节 引例

本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集简介：有一批Iris花，已知这批Iris花可分为3个品种，现需要对其进行分类。不同品种Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度会有差异。我们现有一批已知品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度的数据。

一种解决的方法是用已有的数据训练一个神经网络用作分类器。

第一节 神经网络基本原理

1. 人工神经元（Artificial Neuron）模型

人工神经元是神经网络的基本元素，其原理可以用下图表示：

图1. 人工神经元模型

图中x1~xn是从其他神经元传来的输入信号，wij表示从神经元i到神经元j的连接权值，θ表示一个阈值（threshold），或称为偏倚（bias）。则神经元i的输入与输出的关系表示为：

上面公式中，y_i表示神经元的输出，函数f称为激活函数（Activation Function）或转移函数（Transfer Function），net称为净激活（Net Activation）。若将阈值看成神经元i的一个输入x0的权重wi0，则上面的式子可以简化为：

若用X表示输入向量，用W表示权重向量，即

则神经元的输出可以表示为向量相乘的形式：

若神经元的净激活net为正，则该神经元处于激活状态或兴奋状态（fire），若净激活net为负，则称该神经元处于抑制状态。图1中的这种“阈值加权和”的神经元模型称为M-P模型（McCulloch-Pitts Model），也称为神经网络的一个处理单元（PE, Processing Element）。

2. 常用激活函数

激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数：

（1）线性函数（Liner Function）

（2）斜面函数（Ramp Function）

（3）阈值函数（Threshold Function）

以上三个激活函数都属于线性函数，下面介绍两个常用的非线性激活函数：

（4）S形函数（Sigmoid Function）

该函数的导函数：