Pytorch：全连接神经网络-MLP分类

Pytorch: 全连接神经网络-多层感知机解决分类问题

copyright: Jingmin Wei, Automation 1801, School of Artificial and Intelligence, Huazhong University of Science and Technology

Pytorch教程专栏链接

---

全连接神经网络MLP，或者叫多层感知机，采用BP算法实现，也叫BP神经网络，属于前馈神经网络。由输入层，输出层和隐藏层构成。输入层的神经元个数与输入的特征数量相同，隐藏层和输出层神经元对信号进行加工处理，最终结果由输出层神经元输出。

接下来探讨MLP在分类和回归任务中的应用。

import numpy as np
import pandas as pd
from sklearn.preprocessing import StandardScaler, MinMaxScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, confusion_matrix, classification_report
from sklearn.manifold import TSNE

import torch
import torch.nn as nn
from torch.optim import SGD, Adam
import torch.utils.data as Data
import matplotlib.pyplot as plt
import seaborn as sns
import hiddenlayer as hl
from torchviz import make_dot

MLP 垃圾邮件分类

数据准备与探索

数据集下载地址：http://archive.ics.uci.edu/ml/datasets/Spambase

数据库说明：48个关键词频率，6个关键字符，1个大写字母不间断的平均长度，1个大写字母不间断的最大长度，一个大写字母变量，最后1个为带预测目标变量。

spam = pd.read_csv('./data/spambase/spambase.data')
spam.head()

	word_freq_make	word_freq_address	word_freq_all	word_freq_3d	word_freq_our	word_freq_over	word_freq_remove	word_freq_internet	word_freq_order	word_freq_mail	...	char_freq_;	char_freq_(	char_freq_[	char_freq_!	char_freq_$	char_freq_#	capital_run_length_average	capital_run_length_longest	capital_run_length_total	label
0	0.00	0.64	0.64	0.0	0.32	0.00	0.00	0.00	0.00	0.00	...	0.00	0.000	0.0	0.778	0.000	0.000	3.756	61	278	1
1	0.21	0.28	0.50	0.0	0.14	0.28	0.21	0.07	0.00	0.94	...	0.00	0.132	0.0	0.372	0.180	0.048	5.114	101	1028	1
2	0.06	0.00	0.71	0.0	1.23	0.19	0.19	0.12	0.64	0.25	...	0.01	0.143	0.0	0.276	0.184	0.010	9.821	485	2259	1
3	0.00	0.00	0.00	0.0	0.63	0.00	0.31	0.63	0.31	0.63	...	0.00	0.137	0.0	0.137	0.000	0.000	3.537	40	191	1
4	0.00	0.00	0.00	0.0	0.63	0.00	0.31	0.63	0.31	0.63	...	0.00	0.135	0.0	0.135	0.000	0.000	3.537	40	191	1

5 rows × 58 columns

# 统计垃圾和非垃圾数量
pd.value_counts(spam.label)

0    2788
1    1813
Name: label, dtype: int64

# 将数据随机切分为训练集和测试集
X = spam.iloc[:,0: 57].values
y = spam.label.values
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=123)

# 前57列特征的数据标准化处理
scales = MinMaxScaler(feature_range=(0, 1)) # 最大最小值标准化
X_train_s = scales.fit_transform(X_train)
# X_test_s = scales.transform(X_test)
X_test_s = scales.fit_transform(X_test)

# 使用箱线图可视化特征变量
colname = spam.columns.values[:-1]
plt.figure(figsize=(20, 14))
for ii in range(len(colname)):
    plt.subplot(7, 9, ii + 1)
    sns.boxplot(x = y_train, y = X_train_s[:, ii])
    plt.title(colname[ii])
plt.subplots_adjust(hspace = 0.4)
plt.show()

​