人工神经网络简述

当代人工智能如此火热，AlphaGo大战李世石惊心动魄。人工神经网络作为人工智能的重要技术手段，那么何为人工神经网络？

一、人工神经网络的前世今生

谈到人工神经网络我们需要追溯到19世纪末期，心理学家W.James发表论文《Principles of Psychology》对人脑的学习原理及记忆功能进行了研究阐述了人脑的功能和结构。1943年McCulloch和Pitts发表论文《神经活动中所蕴含的思想的逻辑活动》，提出了将神经元当成信息处理的功能器件，一种非常简单的人工神经网络M-P模型诞生了。1949年D.O.Hebb发表的《行为的组织》一书阐述了神经元之间连接强度的变化规则。1957年F•Roseblatt提出了感知器模型，该模型在M-P模型的基础上增加了训练的过程，使得可以调节神经网络的权值，成为神经网络研究的基础模型。

二、人工神经网络的结构

人工神经网络是通过模拟神经元的连接方式，进而模拟人脑的信息处理机制的一种自适应信息处理系统。对于人工神经网络的研究主要包括神经元模型研究，激活函数的选择，神经元连接方式以及神经网络的训练方式的研究。人工神经网络一般为多层网络，其中包括输入层、隐藏层、和输出层。隐藏层位于输入层和输出层之间，可以有多个也可以没有。层层之间通过权值进行连接，而权值的大小通过在学习的过程中不断的调整网络的权值矩阵得到。

2.1神经元模型

神经元是人工神经网络的基本单元，是对生物神经元模型的模拟和简化，特点为多输入单输出，不同的神经元之间按照不同的权值进行连接，该权值反映了单元间的连接强度。神经元输出不仅受输入信号影响外，还受神经元内部因素影响，因此在人工神经元模型中会添加额外的输入信号，成为阈值。神经元模型如图2-1所示。

图2-1 神经元模型示意图

2.2激活函数

激活转移函数(Activation transfer function),简称激活函数，是人工神经网络的核心。神经网络解决问题的能力不仅与网络结构有关，很大程度上取决于网络激活函数。常见的激活函数有：阈值型、Sigmoid激活函数和分段激活函数。

（1）阈值型

（2）Sigmoid激活函数

Sigmoid激活函数是一种非线性激活函数，简称为S型函数，也有单极性和双极性之分。单极性S型函数将实数域映射到[0,1]区间，双极性S型函数将实数域映射到[-1,1]区间，定义公式分别为2-3和2-4。

（3）分段激活函数

分段激活函数的神经元输入和输出只在部分区间满足线性关系。定义公式如所示，k为分段激活函数的斜率。

2.3神经元连接方式

神经元的连接方式决定了信息在神经网络中传递的途径，常见的连接方式为前馈型连接和反馈型连接。

（1）前馈型连接

在前馈型连接的神经网络中，信息从输入层输入经过隐含层最后在输出层输出结果。输入层不对信息进行处理，隐含层和输出层在激活函数和阈值的作用下，对信息进行处理。前馈型连接神经网络示意图为：

（2）反馈型连接

反馈型连接的网络对信息的处理不具有方向性，在该类型的网络中，整个网络形成反馈回路，每个神经元都可以对信息进行处理，并且作用于其他神经元，反馈型连接的网络拓扑示意图。

2.4神经网络学习方式

对神经网络权值的调整过程即为人工神经网络的学习过程，该过程通过对学习样本的作用和反馈，使得网络的输出不断的逼近期望的结果。神经网络的训练流程如下所示：

（1）监督式训练
监督式训练也称导师式训练。监督式训练需要不断的输入训练样本和期望输出，如果神经网络处理后的输出和期望结果的差异在某一范围以外，则根据一定的学习算法对网络的权值矩阵进行调整。通过不断的输入训练样本和调整网络权值，使得网络输出和期望的误差逐渐变小，直到满足一定范围为止。监督式算法中最常用的算法为梯度下降法。
（2）无导师式训练
无导师式训练是网络不断地提取训练样本的统计特性，从而把输入信息按照它们的相似性程度划分为若干类，然后根据网络的功能调整权值矩阵。这一点与人类观察和认识世界的过程非常吻合，人类观察和认识世界在相当程度上就是在根据事物的统计特征进行分类。