文章目录
3.3 实践:基于Softmax回归完成鸢尾花分类任务
在本节,我们用入门深度学习的基础实验之一“鸢尾花分类任务”来进行实践,使用经典学术数据集Iris作为训练数据,实现基于Softmax回归的鸢尾花分类任务。
实践流程主要包括以下7个步骤:数据处理、模型构建、损失函数定义、优化器构建、模型训练、模型评价和模型预测等,
- 数据处理:根据网络接收的数据格式,完成相应的预处理操作,保证模型正常读取;
- 模型构建:定义Softmax回归模型类;
- 训练配置:训练相关的一些配置,如:优化算法、评价指标等;
- 组装Runner类:Runner用于管理模型训练和测试过程;
- 模型训练和测试:利用Runner进行模型训练、评价和测试。
说明:
使用深度学习进行实践时的操作流程基本一致,后文不再赘述。
本实践的主要配置如下:
- 数据:Iris数据集;
- 模型:Softmax回归模型;
- 损失函数:交叉熵损失;
- 优化器:梯度下降法;
- 评价指标:准确率。
3.3.1 数据处理
3.3.1.1 数据集介绍
Iris数据集,也称为鸢尾花数据集,包含了3种鸢尾花类别(Setosa、Versicolour、Virginica),每种类别有50个样本,共计150个样本。其中每个样本中包含了4个属性:花萼长度、花萼宽度、花瓣长度以及花瓣宽度,本实验通过鸢尾花这4个属性来判断该样本的类别。
鸢尾花属性
属性1 | 属性2 | 属性3 | 属性4 |
---|---|---|---|
sepal_length | sepal_width | petal_length | petal_width |
花萼长度 | 花萼宽度 | 花瓣长度 | 花瓣宽度 |
鸢尾花类别
英文名 | 中文名 | 标签 |
---|---|---|
Setosa Iris | 狗尾草鸢尾 | 0 |
Versicolour Iris | 杂色鸢尾 | 1 |
Virginica Iris | 弗吉尼亚鸢尾 | 2 |
鸢尾花属性类别对应预览
sepal_length | sepal_width | petal_length | petal_width | species |
---|---|---|---|---|
5.1 | 3.5 | 1.4 | 0.2 | setosa |
4.9 | 3 | 1.4 | 0.2 | setosa |
4.7 | 3.2 | 1.3 | 0.2 | setosa |
… | … | … | … | … |
3.3.1.2 数据清洗
- 缺失值分析
对数据集中的缺失值或异常值等情况进行分析和处理,保证数据可以被模型正常读取。代码实现如下:
from sklearn.datasets import load_iris
import pandas
import numpy as np
iris_features = np.array(load_iris().data, dtype=np.float32)
iris_labels = np.array(load_iris().target, dtype=np.int32)
print(pandas.isna(iris_features).sum())
print(pandas.isna(iris_labels).sum())
0
0
iris = pandas.read_csv('/opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/sklearn/datasets/data/iris.csv')
iris.head()
150 | 4 | setosa | versicolor | virginica | |
---|---|---|---|---|---|
0 | 5.1 | 3.5 | 1.4 | 0.2 | 0 |
1 | 4.9 | 3.0 | 1.4 | 0.2 | 0 |
2 | 4.7 | 3.2 | 1.3 | 0.2 | 0 |
3 | 4.6 | 3.1 | 1.5 | 0.2 | 0 |
4 | 5.0 | 3.6 | 1.4 | 0.2 | 0 |
从输出结果看,鸢尾花数据集中不存在缺失值的情况。
- 异常值处理
通过箱线图直观的显示数据分布,并观测数据中的异常值。
import matplotlib.pyplot as plt #可视化工具
%matplotlib inline
# 箱线图查看异常值分布
def boxplot(features):
feature_names = ['sepal_length', 'sepal_width', 'petal_length', 'petal_width']
# 连续画几个图片,subplots_adjust为子图调整,wspace, hspace:子图之间的横向间距、纵向间距分别与子图平均宽度、平均高度的比值。
plt.figure(figsize=(3, 3), dpi=200)
plt.subplots_adjust(wspace=0.6)
# 每个特征画一个箱线图
for i in range(4):
plt.subplot(2, 2, i+1)
# 画箱线图
plt.boxplot(features[:, i],
showmeans=True, # 均值显示
meanprops={"markersize":1}, # 设置均值的属性,如点的大小、颜色等;
whiskerprops={"color":"#E20079", "linewidth":0.4, 'linestyle':"--"}, # 设置垂直虚线的属性,如颜色、粗细、线的类型等
flierprops={"markersize":0.4}) # 设置异常值属性,点的形状、填充色和边框色
# 图名,fontdict:控制标题文本的外观,pad:标题与轴顶部的距离
plt.title(feature_names[i], fontdict={"size":5}, pad=2)
# y方向刻度,fontsize:刻度值的大小,pad:刻度线与刻度值之间的距离
plt.yticks(fontsize=4)
plt.tick_params(pad=0.5)
# x方向刻度
plt.xticks([])
plt.savefig('ml-vis.pdf')
plt.show()
boxplot(iris_features)
从输出结果看,数据中基本不存在异常值,所以不需要进行异常值处理。
3.3.1.3 数据读取
本实验中将数据集划分为了三个部分:
- 训练集:用于确定模型参数;
- 验证集:与训练集独立的样本集合,用于使用提前停止策略选择最优模型;
- 测试集:用于估计应用效果(没有在模型中应用过的数据,更贴近模型在真实场景应用的效果)。
在本实验中,将 80 % 80\% 80%的数据用于模型训练, 10 % 10\% 10%的数据用于模型验证, 10 % 10\% 10%的数据用于模型测试。代码实现如下:
import copy
import paddle
import warnings
warnings.filterwarnings("ignore")
# 加载数据集
def load_data(shuffle=True):
"""
加载鸢尾花数据
输入:
- shuffle:是否打乱数据,数据类型为bool
输出:
- X:特征数据,shape=[150,4]
- y:标签数据, shape=[150]
"""
# 加载原始数据
X = np.array(load_iris().data, dtype=np.float32)
y = np.array(load_iris().target, dtype=np.int32)
X = paddle.to_tensor(X)
y = paddle.to_tensor(y)
# 数据归一化,最大最小值归一化
X_min = paddle.min(X, axis=0)
X_max = paddle.max(X, axis=0)
X = (X-X_min) / (X_max-X_min)
# 如果shuffle为True,随机打乱数据,randperm会生成一维的0 ~ X.shape[0]-1的乱序数组作为索引
if shuffle:
idx = paddle.randperm(X.shape[0])
X = X[idx]
y = y[idx]
return X, y
# 固定随机种子
paddle.seed(102)
num_train = 120
num_dev = 15
num_test = 15
X, y = load_data(shuffle=True)
print("X shape: ", X.shape, "y shape: ", y.shape)
X_train, y_train = X[:num_train], y[:num_train]
X_dev, y_dev = X[num_train:num_train + num_dev], y[num_train:num_train + num_dev]
X_test, y_test = X[num_train + num_dev:], y[num_train + num_dev:]
X shape: [150, 4] y shape: [150]
# 打印X_train和y_train的维度
print("X_train shape: ", X_train.shape, "y_train shape: ", y_train.shape)
X_train shape: [120, 4] y_train shape: [120]
# 打印前5个数据的标签
print(y_train[:5])
Tensor(shape=[5], dtype=int32, place=CPUPlace, stop_gradient=True,
[0, 1, 1, 0, 1])
3.3.2 模型构建
使用Softmax回归模型进行鸢尾花分类实验,将模型的输入维度定义为4,输出维度定义为3。代码实现如下:
from nndl import op
# 输入维度,类别数,实例化模型
input_dim = 4
output_dim = 3
model = op.model_SR(input_dim=input_dim, output_dim=output_dim)
3.3.3 模型训练
实例化RunnerV2类,使用训练集和验证集进行模型训练,共训练80个epoch,其中每隔10个epoch打印训练集上的指标,并且保存准确率最高的模型作为最佳模型。代码实现如下:
from nndl import op, metric, opitimizer, RunnerV2
# 学习率
lr = 0.2
# 梯度下降法,交叉熵损失,准确率,实例化RunnerV2
optimizer = opitimizer.SimpleBatchGD(init_lr=lr, model=model)
loss_fn = op.MultiCrossEntropyLoss()
metric = metric.accuracy
runner = RunnerV2(model, optimizer, metric, loss_fn)
# 启动训练
runner.train([X_train, y_train], [X_dev, y_dev], num_epochs=200, log_epochs=10, save_path="best_model.pdparams")
最佳精度模型已保存: 0.00000 --> 0.40000
[Train] epoch: 0, loss: 1.09861, score: 0.31667
[Dev] epoch: 0, loss: 1.08287, score: 0.40000
最佳精度模型已保存: 0.40000 --> 0.46667
最佳精度模型已保存: 0.46667 --> 0.66667
最佳精度模型已保存: 0.66667 --> 0.73333
[Train] epoch: 10, loss: 0.98697, score: 0.64167
[Dev] epoch: 10, loss: 0.97466, score: 0.73333
[Train] epoch: 20, loss: 0.90985, score: 0.65000
[Dev] epoch: 20, loss: 0.89974, score: 0.73333
[Train] epoch: 30, loss: 0.84734, score: 0.68333
[Dev] epoch: 30, loss: 0.83969, score: 0.73333
[Train] epoch: 40, loss: 0.79562, score: 0.72500
[Dev] epoch: 40, loss: 0.79042, score: 0.73333
[Train] epoch: 50, loss: 0.75237, score: 0.74167
[Dev] epoch: 50, loss: 0.74958, score: 0.73333
[Train] epoch: 60, loss: 0.71581, score: 0.78333
[Dev] epoch: 60, loss: 0.71535, score: 0.73333
最佳精度模型已保存: 0.73333 --> 0.80000
[Train] epoch: 70, loss: 0.68455, score: 0.80833
[Dev] epoch: 70, loss: 0.68637, score: 0.80000
最佳精度模型已保存: 0.80000 --> 0.86667
[Train] epoch: 80, loss: 0.65752, score: 0.81667
[Dev] epoch: 80, loss: 0.66154, score: 0.86667
[Train] epoch: 90, loss: 0.63390, score: 0.84167
[Dev] epoch: 90, loss: 0.64007, score: 0.86667
[Train] epoch: 100, loss: 0.61305, score: 0.84167
[Dev] epoch: 100, loss: 0.62130, score: 0.86667
[Train] epoch: 110, loss: 0.59449, score: 0.85833
[Dev] epoch: 110, loss: 0.60476, score: 0.86667
[Train] epoch: 120, loss: 0.57784, score: 0.85000
[Dev] epoch: 120, loss: 0.59004, score: 0.86667
[Train] epoch: 130, loss: 0.56279, score: 0.85833
[Dev] epoch: 130, loss: 0.57686, score: 0.86667
[Train] epoch: 140, loss: 0.54910, score: 0.86667
[Dev] epoch: 140, loss: 0.56497, score: 0.86667
[Train] epoch: 150, loss: 0.53658, score: 0.87500
[Dev] epoch: 150, loss: 0.55418, score: 0.86667
[Train] epoch: 160, loss: 0.52506, score: 0.88333
[Dev] epoch: 160, loss: 0.54432, score: 0.86667
可视化观察训练集与验证集的准确率变化情况。
from nndl import plot
plot(runner,fig_name='linear-acc3.pdf')
3.3.4 模型评价
使用测试数据对在训练过程中保存的最佳模型进行评价,观察模型在测试集上的准确率情况。代码实现如下:
# 加载最优模型
runner.load_model('best_model.pdparams')
# 模型评价
score, loss = runner.evaluate([X_test, y_test])
print(f"[Test] score/loss: {score:.4f}/{loss:.4f}")
3.3.5 模型预测
使用保存好的模型,对测试集中的数据进行模型预测,并取出1条数据观察模型效果。代码实现如下:
# 预测测试集数据,观察其中一条样本的预测结果,并获取该样本概率最大的类别
logits = runner.predict(X_test)
pred = paddle.argmax(logits[0]).numpy()
label = y_test[0].numpy()
print(f"正确的分类是 {label[0]} 预测的类别是 {pred[0]}")
3.4 小结
本节实现了Logistic回归和Softmax回归两种基本的线性分类模型。
3.5 实验拓展
为了加深对机器学习模型的理解,请自己动手完成以下实验:
- 尝试调整学习率和训练轮数等超参数,观察是否能够得到更高的精度;
- 在解决多分类问题时,还有一个思路是将每个类别的求解问题拆分成一个二分类任务,通过判断是否属于该类别来判断最终结果。请分别尝试两种求解思路,观察哪种能够取得更好的结果;
- 尝试使用《神经网络与深度学习》中的其他模型进行鸢尾花识别任务,观察是否能够得到更高的精度。