期末作业实验报告：MLP实验对比(MLPClassifier)

工程构建

• 导入sklearn相关包

import numpy as np
rom sklearn.neural_network import MLPClassifier 

• 定义readDataSet(fileName, isTest)函数,用于加载训练数据,返回特征数据(dataSet)和标签(label)

# fileName: 文件名字
# isTest: =True为测试数据时,只有54列,label直接设0
def readDataSet(fileName, isTest):
    fr = open(fileName,encoding='utf-8')
    lines = fr.readlines()

    numLabels = len(lines) 
    labels = np.zeros(numLabels) #用于存放标签数据
    dateSet = np.zeros([numLabels,54],int) #用于存放特征数据

    # 逐行读取数据到dataSet,labels
    # 总共55列,前54列是样本特征,最后一列是样本类别(label)
    for i in range(numLabels):
        line = lines[i]
        label = 0
        if isTest:  #True:测试集只有54列,最后标签直接设为0
            label = 0
        else:  # False:取最后一列为标签数据
            label = line.split(' ')[54]
        labels[i] = label

        dates = np.zeros(54)
        for j in range(53): # 前54列添加为特征数据
            dates[j] = line.split(' ')[j]
        dateSet[i] = dates

    fr.close()
    return dateSet,labels

添加isTest参数是为了区别训练集(55列)与测试集数据(54列)列数不同,便于交叉验证时,统计错误数量,核算正确率.

• 加载训练数据

train_dataSet,train_labels = readDataSet('data_train.txt', False)

• 构建神经网络
  设置网络的隐藏层数、各隐藏层神经元个数、激活函数、学习率、优化方法、最大迭代次数

clf = MLPClassifier(hidden_layer_sizes=(100,),
                    activation='logistic', solver='adam',
                    learning_rate_init = 0.0001, max_iter=2000)
print(clf)
clf.fit(train_dataSet,train_labels)

• 加载测试集,使用构建好的KNN分类器对测试集进行预测

test_dataSet,test_labels = readDataSet('data_test.txt', False)
res = clf.predict(test_dataSet)
error = 0
for i in range(len(res)):
    if res[i] != test_labels[i]:
        error += 1
print('error:',error,'正确率:',(len(res) - error) / len(res))

邻居数量K影响对比

• 情况一：使用logistic激活函数和adam优化方法,设初始学习率为0.0001,最大迭代次数为2000
  运行神经元个数为50、100、200的实验对比结果

n_hidden_layer_sizes	50	100	200
正确率	78%	80%	83%

随着隐藏层神经元个数的增加,MLP的正确率持上升趋势

• 情况二：使用adam优化方法,设神经元个数为100,初始学习率为0.0001,最大迭代次数为2000
  运行激活函数分别为logistic、identity、tanh、relu的实验对比结果

activation	identity	relu	tanh	logistic
正确率	59%	61%	75%	80%

我们可以看出logistic的正确率最高

• 情况三：使用logistic激活函数和adam优化方法,设神经元个数为100,初始学习率为0.0001
  运行最大迭代次数为500、1000、1500、2000的实验对比结果

max_iter	500	1000	1500	2000
错误数	8125	7690	7805	7812
正确率	59%	61%	75%	80%

当最大迭代次数> 1500时,正确率基本保持不变,这说明MLP在第1500迭代时已经收敛