Python数据分析与挖掘实战第五章笔记之人工神经网络

#人工神经网络是模拟生物神经网络进行信息处理的一种数学模型。人工神经元是人工神经网络操作的基本信息处理单位。
# 人工神经网络的学习也称为训练，指的是神经网络在收到外部环境的刺激下调整神经网络的参数，使神经网络以一种新的方式对外部环境做出反应的一个过程。
# 在分类与预测中，人工神经网络主要使用指导的学习方式，即根据给定的训练样本，调整人工神经网络的参数以使网络输出接近于已知的样本类标记或其他形式的因变量。
# 在人工神经网络的发展过程中，提出了多种不同的学习规则，没有一种特定的学习算法适用于所有的网络结构和具体问题。在分类与预测中，西格玛学习规则（误差矫正学习算法）是使用最广泛的一种。
# 误差校正想学习算法根据神经网络的输出误差对神经元的连接强度进行修正，属于指导学习。
# 神经网络训练是否完成常用误差函数E来衡量，当误差函数小于某一个设定的值时即停止神经网络的训练。
# 使用人工神经网络模型需要确定网络连接的拓扑结构、神经元的特征和学习规则等。常用来实现分类和预测的人工神经网络算法如下：
# 1、BP神经网络：是一种按误差逆传播算法训练的多层前馈网络，学习算法是西格玛学习规则，是目前 应用最广泛的神经网络模型之一。
# 2、LM神经网络：是基于梯度下降法和牛顿法结合的多层前馈网络，迭代次数少，收敛速度快，精确度高
# 3、RBF径向基神经网络：RBF网络能够以任意精度逼近任意连续函数，从输入层到隐含层的变换是非线性的，而从隐含层到输出层的变换是线性的，特别适合解决分类问题。
# 4、FNN模糊神经网络：FNN模糊神经网络是具有模糊权系数或者输入信号是模糊量的神经网络，是模糊系统与神经网络相结合的产物，它汇聚了神经网络与模糊系统的优点，集联