神经网络学习笔记1—简介

第一节、神经网络基本原理

1. 人工神经元( Artificial Neuron )模型 

       人工神经元是神经网络的基本元素，其原理可以用下图表示：

图1. 人工神经元模型

 

       图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值 ( threshold )，或称为偏置( bias )。将阈值看成是神经元i的一个输入x0的权重wi0，则神经元i的输出与输入的关系表示为：

 

2. 常用激活函数 

       激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。

(1) 线性函数 ( Liner Function )

 

(2) 斜面函数 ( Ramp Function )

 

(3) 阈值函数 ( Threshold Function )  

       以上3个激活函数都属于线性函数，下面介绍两个常用的非线性激活函数。

(4) S形函数 ( Sigmoid Function )

　　该函数的导函数：

(5) 双极S形函数 

　　该函数的导函数：

　　S形函数与双极S形函数的图像如下：