数据分析与挖掘笔记（十一）------ 挖掘建模之人工神经网络

人工神经网络是模拟生物神经网络进行信息处理的一种数学模型。它以对大脑的生理研究成果为基础，其目的在于模拟大脑的某些机理与机制，实现一些特点的功能。

 

人工 神经元是人工神经网络操作的基本信息处理单位。人工神经元的模型如图5-6所示，它是人工神经网络的设计基础。一个人工神经元对输入信号的输出为，其中，公式中各字符的含义如图5-6所示。

 

 

人工神经网络的学习也称为训练，指的是神经网络在受到外部环境的刺激下调整神经网络的参数，使神经网络以一种新的方式对外部环境作出反应的一个过程。在分类与预测中，人工神经网络主要使用有指导的学习方式，即根据给定的训练样本，调整人工神经网络的参数以使网络输出接近于已知的样本类标记或其他形式的因变量。

 

激活函数主要形式：

 

使用人工神经网络模型需要确定网络连接的拓扑结构、神经元的特征和学习规则等。目前，已有近40种人工神经网络模型，常用的用来实现分类和预测的人工神经网络算法如下表;

 

算法名称	算法描述
BP神经网络	是一种按误差逆传播算法训练的多层前馈网络，学习算法是学习规则，是目前硬用最广泛的神经网络模型之一。
LM神经网络	是基于梯度下降和牛顿法结合的多层前馈网络，特点：迭代次数少，收敛速度快，精确度高。
RBF径向基神经网络	RBF网络能够以任意精度逼近任意连续函数，从输入层到隐含层的变换是非线性的，而从隐含层到输出层的变换是线性的，特别适合于解决分类问题。
FNN模糊神经网络	FNN模糊神经网络是具有模糊权系数或者输入信号是模糊量的神经网络，是模糊系统与神经网络相结合的产物，它汇聚了神经网络与模糊系统的优点，集联想、识别、自适应及模糊信息处理于一体。
CMDH神经网络	CMDH神经网络也称为多项式网络，它是前馈神经网络中常用的一种用于预测的神经网络。它的特点是网络结构不固定，而且在训练过程中可以不断改变。
ANFIS自适应神经网络	神经网络镶嵌在一个全部模糊的结构之中，在不知不觉中向训练数据学习，自动产生、修正并高度概括出最佳的输入与输出变量的隶属函数以及模糊规则；另外，神经网络的各层结构与参数也都具有了明确的、易于理解的物理意义。

BP算法只用到均方误差函数对权值和阈值的一阶导数（梯度）信息，使得算法存在收敛速度缓慢、易陷入局部极小等缺陷。为了解决这一问题，Hinton等人于2006年提出了非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，并以此为基础发展成为“深度学习”算法。

 

实例：

神经网络算法预测销量高低

#-*- coding: utf-8 -*-
#使用神经网络算法预测销量高低

import pandas as pd


#参数初始化
inputfile = '../data/sales_data.xls'
data = pd.read_excel(inputfile, index_col = u'序号') #导入数据


#数据是类别标签，要将它转换为数据
#用1来表示“好”、“是”、“高”这三个属性，用0来表示“坏”、“否”、“低”
data[data == u'好'] = 1
data[data == u'是'] = 1
data[data == u'高'] = 1
data[data != 1] = 0
x = data.iloc[:,:3].as_matrix().astype(int)
y = data.iloc[:,3].as_matrix().astype(int)


from keras.models import Sequential
from keras.layers.core import Dense, Activation


model = Sequential() #建立模型
model.add(Dense(input_dim = 3, output_dim = 10))
model.add(Activation('relu')) #用relu函数作为激活函数，能够大幅提供准确度
model.add(Dense(input_dim = 10, output_dim = 1))
model.add(Activation('sigmoid')) #由于是0-1输出，用sigmoid函数作为激活函数


model.compile(loss = 'binary_crossentropy', optimizer = 'adam')
#编译模型。由于我们做的是二元分类，所以我们指定损失函数为binary_crossentropy，以及模式为binary
#另外常见的损失函数还有mean_squared_error、categorical_crossentropy等，请阅读帮助文件。
#求解方法我们指定用adam，还有sgd、rmsprop等可选


model.fit(x, y, nb_epoch = 1000, batch_size = 10) #训练模型，学习一千次
yp = model.predict_classes(x).reshape(len(y)) #分类预测


from cm_plot import * #导入自行编写的混淆矩阵可视化函数
cm_plot(y,yp).show() #显示混淆矩阵可视化结果

 

运行结果：混淆矩阵图

从图中可以看出，检测样本为34个，预测正确的个数为26个，预测准确率为76.4%，预测准确率较低的原因是神经网络训练时需要较多样本，而这里的训练数据比较少。

需要指出的是，此案例比较简单，我们并没有考虑拟合的问题，事实上，神经网络的拟合能力是很强的，容易出现过拟合现象。跟传统的添加“惩罚项”的做法不同，目前神经网络（尤其是深度神经网络）中流行的防止过拟合的方法是随机的让部分神经网络节点进行休眠。