人工神经网络算法
算法名称 | 算法描述 |
BP神经网络 | 一种按误差逆传播算法训练的多层前馈网络,学习算法是:误差校正学习算法 |
LM神经网络 | 基于梯度下降法和牛顿法结合的多层前馈网络,特点 :迭代次数少,收敛速度快,精确度高 |
RBF径向基神经网络 | RBF网络能以任何精度逼近任意连续函数,从输入层到隐含层的变换是非线性的,而从隐含层到输出层的变换是线性的,适用于解决分类问题 |
FNN模糊神经网络 | FNN是具有模糊权系数或输入信号是模糊量的神经网络 |
GMDH神经网络 | GMDH是前馈神经网络中常用的一种用于预测的神经网络。它的特点:网络结构不固定,在训练中不断改变 |
ANFIS自适应神经网络 | 神经网络嵌在一个全部模糊的结构中,不知不觉中向训练数据学习,自动产生、修正并高度概括出最佳的输入与输出变量的隶属函数及模糊规则 |
BP算法
BP算法的学习过程由:信号的正向传播及误差的逆向传播组成。
正向传播时,输入信号经过隐层的处理,传向输出层。
若输出层节点未能得到期望的输出,则转入误差的逆向传播。
逆向传播时,将输出误差按某种子形式,通过隐层向输出层返回,并分摊给隐层的节点与输入层节点,获得各层单元的参考误差,作为修改各单元权值的依据。
信号正向及逆向传播周而复始,不断修改权值,即神经网络的训练过程。
算法开始时,给定学习次数上限,初始化学习次数为0,对权值和阙值赋予小的随机数,一般在[-1,1]。
输入样本数据,网络正向传播,得到中间层与输出层的值,比较输出层的值与教师信号的误差,用误差函数判断误差是否小于误差上限。
若不小于误差上限,则对中间层和输出层权值和阙值进行更新
更新权值和阙值后,再次将样本数据作为输入,重复计算误差E。
算法结束两条依据:达到学习次数货误差达到预期。
#-*- coding: utf-8 -*-
#使用神经网络算法预测销量高低
import pandas as pd
#参数初始化
inputfile = '../data/sales_data.xls'
data = pd.read_excel(inputfile, index_col = u'序号') #导入数据
#数据是类别标签,要将它转换为数据
#用1来表示“好”、“是”、“高”这三个属性,用0来表示“坏”、“否”、“低”
data[data == u'好'] = 1
data[data == u'是'] = 1
data[data == u'高'] = 1
data[data != 1] = 0
x = data.iloc[:,:3].as_matrix().astype(int)
y = data.iloc[:,3].as_matrix().astype(int)
from keras.models import Sequential
from keras.layers.core import Dense, Activation
model = Sequential() #建立模型
model.add(Dense(input_dim = 3, output_dim = 10))
model.add(Activation('relu')) #用relu函数作为激活函数,能够大幅提供准确度
model.add(Dense(input_dim = 10, output_dim = 1))
model.add(Activation('sigmoid')) #由于是0-1输出,用sigmoid函数作为激活函数
model.compile(loss = 'binary_crossentropy', optimizer = 'adam', class_mode = 'binary')
#编译模型。由于我们做的是二元分类,所以我们指定损失函数为binary_crossentropy,以及模式为binary
#另外常见的损失函数还有mean_squared_error、categorical_crossentropy等,请阅读帮助文件。
#求解方法我们指定用adam,还有sgd、rmsprop等可选
model.fit(x, y, nb_epoch = 1000, batch_size = 10) #训练模型,学习一千次
yp = model.predict_classes(x).reshape(len(y)) #分类预测
from cm_plot import * #导入自行编写的混淆矩阵可视化函数
cm_plot(y,yp).show() #显示混淆矩阵可视化结果