神经网络编程入门
本文主要内容包括:
1、 介绍神经网络基本原理
2、 Matlab 实现前向神经网络的方法
3、 AForge.NET实现前向神经网络的方法
第0节 引例
本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集简介:有一批Iris花,已知这批Iris花可分为3个品种,现需要对其进行分类。不同品种Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度会有差异。我们现有一批已知品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度的数据。
一种解决的方法是用已有的数据训练一个神经网络用作分类器。
第一节 神经网络基本原理
1. 人工神经元(Artificial Neuron)模型
人工神经元是神经网络的基本元素,其原理可以用下图表示:
图1. 人工神经元模型
图中x1~xn是从其他神经元传来的输入信号,wij表示从神经元i到神经元j的连接权值,θ表示一个阈值(threshold),或称为偏倚(bias)。则神经元i的输入与输出的关系表示为:
上面公式中,yi表示神经元的输出,函数f称为激活函数(Activation Function)或转移函数(Transfer Function),net称为净激活(Net Activation)。若将阈值看成神经元i的一个输入x0的权重wi0,则上面的式子可以简化为:
若用X表示输入向量,用W表示权重向量,即
则神经元的输出可以表示为向量相乘的形式:
若神经元的净激活net为正,则该神经元处于激活状态或兴奋状态(fire),若净激活net为负,则称该神经元处于抑制状态。图1中的这种“阈值加权和”的神经元模型称为M-P模型(McCulloch-Pitts Model),也称为神经网络的一个处理单元(PE, Processing Element)。
2. 常用激活函数
激活函数的选择是构建神经网络过程中的重要环节,下面简要介绍常用的激活函数:
(1)线性函数(Liner Function)
(2)斜面函数(Ramp Function)
(3)阈值函数(Threshold Function)
以上三个激活函数都属于线性函数,下面介绍两个常用的非线性激活函数:
(4)S形函数(Sigmoid Function)
该函数的导函数: