第六章——机器学习（神经学习）

一、神经学习

1.神经网络基础概念:

人工神经网络又叫神经网络，是借鉴了生物神经网络的工作原理形成的一种数学模型。神经网络是机器学习诸多算法中的一种，它既可以用来做有监督的任务，如分类、视觉识别等，也可以用作无监督的任务。同时它能够处理复杂的非线性问题，它的基本结构是神经元，如下图所示：

 其中，x1、x2、x3代表输入，中间部分为神经元，而最后的hw,b(x)是神经元的输出。整个过程可以理解为输入——>处理——>输出。

由多个神经元组成的就是神经网络:

 这是一个4层结构的神经网络，layer1为输入层，layer4为输出层，layer2,layer3为隐藏层，即神经网络的结构由输入层，隐藏层，输出层构成。其中除了输入层以外，每一层的输入都是上一层的输出。

2.神经网络数学原理

单个神经元的数学构成很简单，包含两个部分权重和偏置，每个输入值进入神经元都会进行类似y=wx+b其中w为权重，b为偏值，x为输入值，y为单个输入值的结果，经过激活函数激活后输出结果为f(wx+b),其中f为激活函数。存在多个输入值使用激活函数的情况下输出值为f(w1x1+w2x2+...+wnxn+b)。

3.激活函数

激活函数也成为映射函数，可以对计算结果进行非线性转换，从而提升神经网络的表达能力，从而能够处理线性不可分的问题，比如语音识别和图像识别等。常见的激活函数有sigmoid,tanh,relu...等。

1）sigmoid函数

 其图形为一个s型曲线，会将所有的输入结果映射到0-1之间，图形样式如下：



 sigmoid常被用于处理二分类问题。

2）tanh函数

tanh函数的图形和sigmoid类似，不同的是它是将输入值映射到-1~1之间。它的图形如下图所示：

 

3）ReLU函数

 二、感知器学习

感知器模型由美国学者F. Rosehlar于1957年提出，是一种早期的神经网络模型，感知器模型中第一次引入了学习的概念，也就是说，可以用基于符号处理的数学方法模拟人脑所具备的学习功能。根据网络中所拥有的计算节点的层数，将其分为单层感知器和多层感知器。

单层感知器学习算法描述:

(1)设置变量和参数。f(x)为激活函数,y(n)为网络实际输出,d(n)为期望输出，η为学习速率，n为迭代次数,e为实际输出与期里输出的误差。

(2)初始化联结权值和阈值。给权值向量w (0)(i=0,1,2...m)分别赋一个较小的非零随机数作为初值。其中,wi(0)是第0次迭代时输入向量中第i个输入的连接权值，∮(0)是第0次迭代时输出节点的阈值。

(3)输入一组新的样本X(n)=(-1,x(n),x2(n),..，m (n)),并给出期望输出d(n)。

(4)计算网络的实际输出: y(n)=f( ∑wi(n)xi(n)-∮(n)。

(5)计算期望输出与实际输出差: e=[d(n)-y(n)]²

(6)判断当前误差是否满足终止条件。若满足，则算法结束;否则，将n值加1,并用下式调整权值: wi(n+1)=wi(n)+ η[d(n)→y(n)]xi(n),然后转步骤(3)。