《机器学习：Python实践》笔记：机器学习中的Hello World项目—鸢尾花分类详解

这是针对鸢尾花（Iris Flower）进行分类的一个项目，数据集是含鸢尾花的三个亚属的分类信息，通过机器学习算法生成一个模型，自动分类新数据到这三个亚属的某一个中。
项目中使用的鸢尾花数据集是一个非常容易理解的数据集，这个数据集具有以下特点：
· 所有的特征数据都是数字，不需要考虑如何导入和处理数据。
· 这是一个分类问题，可以很方便地通过有监督学习算法来解决问题。
· 这是一个多分类问题，也许需要一些特殊的处理。
· 所有的特征的数值采用相同的单位，不需要进行尺度的转换。
我们将按照下面的步骤实现这个项目：
（1）导入数据。
（2）数据审查。
（3）特征数据可视化。
（4）分离训练集和测试集。
（5）生成6个不同算法模型。
（6）使用训练集评估并选择最佳算法（交叉验证）。
（7）使用测试集实施预测。

#导入DataScience基础包
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

1.导入数据集

sklearn自带鸢尾花数据集，但我们在这儿使用自己下载的数据集（http://archive.ics.uci.edu/ml/datasets/Iris）。
将其读取到DataFrame中：

filename="iris.data"
#设置特征名称
names=['separ-length','separ-width','petal-length','petal-width','class']
dataset=pd.read_csv(filename,names=names)

2.数据审查

增加对数据的理解，以便选择合适的算法。我们将从以下几个角度来审查数据：
（1）数据的维度。可以对数据集有一个大概的了解，如数据集中有多少行数据、数据有几个属性等。

#显示数据维度
print("数据维度：行：%s,列：%s" %  dataset.shape)

（2）查看数据自身。通过查看数据可以直观地看到数据的特征、数据的类型，以及大概的数据分布范围等。

#查看数据自身
dataset.head(10)

（3）统计描述所有的数据特征。数据特征的统计描述信息包括数据的行数、中位值、最大值、最小值、均值、四分位值等统计数据信息。

#统计描述数据所有特征
dataset.describe()

（4）数据分类的分布情况。接下来看一下数据在不同分类的分布情况，执行程序后得到的将是每个分类数据量的绝对的数值，看一下各个分类的数据分布是否均衡。

#数据分类结果的分布
dataset.groupby('class').size()

如果数据的分布不平衡时，可能会影响到模型的准确度。
因此，当数据分布不平衡时，需要对数据进行处理，调整数据到相对平衡的状态。调整数据平衡时有以下几种方法。
·扩大数据样本：这是一个容易被忽视的选择。一个更大的数据集，就有可能挖掘出不同的或许更平衡的方面提高算法模型的准确度。
·数据的重新抽样：过抽样（复制少数类样本）和欠抽样（删除多数类样本）。当数据量很大时可以考虑测试欠抽样（大于一万条记录），当数据量比较少时可以考虑过抽样。
·尝试生成人工样本：一种简单的生成人工样本的方法是从少数类的实例中随机抽样特征属性，生成更多的数据。

3.特征数据可视化

通过图表来进一步查看数据特征的分布情况和数据不同特征之间的相互关系。
· 单变量图表可以更好地理解每一个特征属性（箱线图、直方图）。
· 多变量图表用于理解不同特征属性之间的关系（散点矩阵图）。

#箱线图,通过箱线图来展示属性与中位值的离散速度
dataset.plot(kind='box',subplots=True,layout=(2,2),sharex=False,sharey=False)
#直方图，通过直方图来显示每个特征属性的分布状况
dataset.hist()
#散点矩阵图,通过散点矩阵图来查看每个属性之间的影响关系。
pd.plotting.scatter_matrix(dataset)
plt.show()

4.分离数据集

模型被创建后需要知道创建的模型是否足够好。在选择算法的过程中会采用统计学方法来评估算法模型。但是，我们更想知道算法模型对真实数据的准确度如何，这就是保留一部分数据来测试算法模型的主要原因。

#分离数据集
from sklearn.model_selection import train_test_split

array=dataset.values
X=array[:,0:4]
Y=array[:,4]
seed=7
X_train,X_test,Y_train,Y_test=train_test_split(X,Y,test_size=0.2,random_state=seed)

5.生成6个不同的模型

对任何问题来说，不能仅通过对数据进行审查，就判断出哪个算法最有效。通过前面的图表，发现有些数据特征符合线性分布，所有可以期待算法会得到比较好的结果。接下来评估六种不同的算法：
· 线性回归（LR）。
· 线性判别分析（LDA）。
· K近邻（KNN）。
· 分类与回归树（CART）。
· 贝叶斯分类器（NB）。
· 支持向量机（SVM）。
这个算法列表中包含了线性算法（LR 和 LDA）和非线性算法（KNN、CART、NB和 SVM）。

#创建模型
from sklearn.linear_model import LogisticRegression #线性回归（LR）
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis #线性判别分析（LDA）
from sklearn.neighbors import KNeighborsClassifier #K近邻（KNN）
from sklearn.tree import DecisionTreeClassifier #分类与回归树（CART）
from sklearn.naive_bayes import GaussianNB#贝叶斯分类器（NB）
from sklearn.svm import SVC#支持向量机（SVM）

models={}
models['LR']=LogisticRegression()
models['LDA']=LinearDiscriminantAnalysis()
models['KNN']=KNeighborsClassifier()
models['CART']=DecisionTreeClassifier()
models['NB']=GaussianNB()
models['SVM']=SVC()

6.采用10折交叉验证来评估算法模型

现在已经有了六种模型，接下来就需要比较这六种模型，并选出准确度最高的算法。
在这里将通过 10 折交叉验证来分离训练数据集，并评估算法模型的准确度。10 折交叉验证是随机地将数据分成10份：9份用来训练模型，1份用来评估算法。
在每次对算法进行评估前都会重新设置随机数的种子，以确保每次对算法的评估都使用相同的数据集，保证算法评估的准确性。

#评估算法
from sklearn.model_selection import KFold,cross_val_score

results=[]
for model in models:
    kfold=KFold(n_splits=10,random_state=seed)
    cv_results=cross_val_score(models[model],X_train,Y_train,cv=kfold,scoring='accuracy')
    results.append(cv_results)
    print('%s: %f %f' % (model,cv_results.mean(),cv_results.std()))

现在已经有了六种模型，并且评估了它们的精确度。接下来就需要比较这六种模型，并选出准确度最高的算法。

#箱线图比较算法
fig=plt.figure()
ax=fig.add_subplot(111)
plt.boxplot(results)
ax.set_xticklabels(models.keys())
plt.show()

结合交叉验证和可视化的评估结果显示，支持向量机（SVM）是准确度最高的算法。

7.使用测试集实施预测

现在使用全部训练集的数据生成支持向量机（SVM）的算法模型，并用预留的测试数据集给出一个算法模型的报告。这将会对生成的算法模型的准确度有一个更加直观的认识。

from sklearn.metrics import classification_report
from sklearn.metrics import confusion_matrix
from sklearn.metrics import accuracy_score
#使用测试集评估算法
svm=SVC()
svm.fit(X_train,Y_train)
predictions=svm.predict(X_test)
print("准确度: ",accuracy_score(Y_test,predictions))
print("混淆矩阵： ",confusion_matrix(Y_test,predictions))
print("分类报告： ",classification_report(Y_test,predictions))#精确率（precision）、召回率（recall）、F1值（F1-score）

执行程序后，看到算法模型的准确度是 0.93。通过冲突矩阵看到只有两个数据预测错误。最后还提供了一个包含精确率（precision）、召回率（recall）、F1值（F1-score）等数据的报告。