Python数据分析与挖掘实战学习16

一、人工神经网络

人工神经网络(Artificial Neural Networks，ANN)，是模拟生物神经网络进行信息处理的一种数学模型。它以对大脑的生理研究成果为基础，其目的在于模拟大脑的某些机理与机制，实现一些特定的功能。

1943年，美国心理学家McCulloch和数学家Pitts联合提出了形式神经元的数学模型MP模型，证明了单个神经元能执行逻辑功能，开创了人工神经网络研究的时代。1957年，计算机科学家Rosenblatt用硬件完成了最早的神经网络模型，即感知器，并用来模拟生物的感知和学习能力。1969年M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，出版了《Perceptron》（感知器）一书，指出感知器不能解决高阶谓词问题，人工神经网络的研究进入一个低谷期。20世纪80年代以后，超大规模集成电路、脑科学、生物学、光学的迅速发展为人工神经网络的发展打下了基础，人工神经网络的发展进入兴盛期。

人工神经网络是人工神经网络操作的基本信息处理单位，它是人工神经网络的设计基础。一个人工神经元对输入信号X=[x1,x2,…,xm]T的输出y为y=f(u+b)，其中 ，公式中各字符的含义如下图所示：

人工神经网络的学习也称为训练，指的是神经网络在收到外部环境的刺激下调整神经网络的参数，使神经网络以一种新的方式对外部环境做出反应的过程。在分类与预测中，人工神经网络主要使用有监督的学习方式，即根据给定的训练样本，调整人工神经网络的参数以使网络输出接近于已知的样本类标记或其他形式的因变量。

激活函数主要有以下形式：

在人工神经网络的发展过程中，提出了多种不同的学习规则，没有一种特定的学习算法适用于所有的网络结构和具体问题。在分类与预测中， 学习规则（误差校正学习算法）是使用最广泛的一种。误差校正学习算法根据神经网络的输出误差对神经元的连接强度进行修正，属于有监督学习。设神经网络中的神经元i做为输入，神经元j为输出神经元，它们的连接权值为wij，则对权值的修正为 ，其中η 为学习率， 为j的偏差，即输出神经元j的实际输出和期望输出之差，如下图所示：