机器学习Sklearn Day1

机器学习sklearn

Day1

什么是sklearn

scikit-learn，又写作sklearn，sklearn是一个开源的基于python语言的机器学习工具包

它通过Numpy，SciPy和Matplotlib等python数值计算的库实现高效的算法应用

涵盖了几乎所有主流机器学习算法

为什么是sklearn

友好且有深度；有用但缺乏优秀的解读；是通往数据挖掘工程师的起点

什么是Graphviz

在开发工作中，为代码添加注释是为了保证代码可维护性的一个重要方面，但是仅提供注释也是不够的，如果系统越复杂功能越多，涉及的模块越多，仅凭借注释很难理解。这时候我们需要思维导图，类似于Xmind，但通过graphviz来实现的。

 

在工程应用中，用python手写代码来从头实现一个算法的可能性非常低，这样不仅耗时耗力，还不一定能够写出3构架清晰，稳定性强的模型。更多情况下，是分析采集到的数据，根据数据特征选择适合的算法，在工具包中调用算法，调整算法的参数，获取需要的信息，从而实现算法效率和效果之间的平衡。而sklearn，正是这样一个可以帮助我们高效实现算法应用的工具包。

决策树

1. 概述

1. 1. 决策树是如何工作的

决策树（Decision Tree）是一种非参数（不限制数据的结构和类型，可以处理各种各样的数据类型）的有监督学习（必须有标签，即告诉算法答案）方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。决策树算法容易理解，适用各种数据，在解决各  种问题时都有良好表现，尤其是以树模型为核心的各种集成算法，在各个行业和领域都有广泛的应用。

我们来简单了解一下决策树是如何工作的。决策树算法的本质是一种图结构，我们只需要问一系列问题就可以对数据进行分类了。

比如说，来看看下面这组数据集，这是一系列已知物种以及所属类别的数据
我们现在的目标是，将动物们分为哺乳类和非哺乳类。那根据已经收集到的数据，决策树算法为我们算出了下面的  这棵决策树：：（类标号是标签）

 假如我们现在发现了一种新物种Python，它是冷血动物，体表带鳞片，并且不是胎生，我们就可以通过这棵决策树来判断它的所属类别。（通过体温，胎生等特征来判断）

 

可以看出，在这个决策过程中，我们一直在对记录的特征进行提问。最初的问题所在的地方叫做根节点，在得到结论前的每一个问题都是中间节点，而得到的每一个结论（动物的类别）都叫做叶子节点。

关键概念：节点

根节点：没有进边，有出边。包含最初的，针对特征的提问。 中间节点：既有进边也有出边，进边只有一条，出边可以有很多条。都是针对特征的提问。 叶子节点：有进边，没有出边，每个叶子节点都是一个类别标签。 *子节点和父节点：在两个相连的节点中，更接近根节点的是父节点，另一个是子节点。

1.决策树算法的核心是要解决两个问题：

①如何从数据表中找出最佳节点和最佳分枝？

②如何让决策树停止生长，防止过拟合？

几乎所有决策树有关的模型调整方法，都围绕这两个问题展开。这两个问题背后的原理十分复杂。

决策树是一种简单的机器学习方法。决策树经过训练之后，看起来像是以树状形式排列的一系列if-then语句。一旦我们有了决策树，只要沿着树的路径一直向下，正确回答每一个问题，最终就会得到答案。沿着最终的叶节点向上回溯，就会得到一个有关最终分类结果的推理过程。

sklearn中的决策树

模块sklearn.tree

sklearn中所有决策树的类都在”tree“这个模块之下。这个模块总共包含五个类：

tree.DecisionTreeClassifier	分类树
tree.DecisionTreeRegressor	回归树
tree.export_graphviz	将生成的决策树导出为DOT格式，画图专用
tree.ExtraTreeClassifier	高随机版本的分类树
tree.ExtraTreeRegressor	高随机版本的回归树

主要讲解分类树和回归树，并用图像呈现。

sklearn的基本建模流程

在那之前，我们先来了解一下sklearn建模的基本流程。

 

 

在这个流程下，分类树对应的代码是：

 

2.DecisionTreeClassifier（分类树）与红酒数据集

class sklearn.tree.DecisionTreeClassifier (criterion=’gini’, splitter=’best’, max_depth=None,min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None, presort=False)

(括号中的是分类树所有的参数）

2.1重要参数

2.1.1 criterion

为了要将表格转化为一棵树，决策树需要找出最佳节点和最佳的分枝方法，对分类树来说，衡量这个“最佳”的指标叫做“不纯度”。通常来说，不纯度越低，决策树对训练集的拟合越好。现在使用的决策树算法在分枝方法上的核心大多是围绕在对某个不纯度相关指标的最优化上。

(不纯度是衡量指标)

不纯度基于节点来计算，树中的每个节点都会有一个不纯度，并且子节点的不纯度一定是低于父节点的，也就是说，在同一棵决策树上，叶子节点的不纯度一定是最低的。

Criterion这个参数正是用来决定不纯度的计算方法的。

1）输入”entropy“，使用信息熵（Entropy）

2）输入”gini“，使用基尼系数（Gini Impurity） 

注：

基尼不纯度：将来自集合中的某种结果随机应用于集合中某一数据项的预期误差率。

熵：代表集合的无序程度

信息中排除了冗余后的平均信息量称为“信息熵”

熵和基尼不纯度之间的主要区别在于，熵达到峰值的过程要相对慢一些。因此，熵对于混乱集合的判罚要更重一些。

信息的大小跟随机事件的概率有关。越小概率的事情发生了产生的信息量越大，如湖南产生的地震了；越大概率的事情发生了产生的信息量越小，如太阳从东边升起来了（肯定发生嘛，没什么信息量）。

信息熵还可以作为一个系统复杂程度的度量，如果系统越复杂，出现不同情况的种类越多，那么他的信息熵是比较大的。

如果一个系统越简单，出现情况种类很少（极端情况为1种情况，那么对应概率为1，那么对应的信息熵为0），此时的信息熵较小。

 

其中t代表给定的节点，i代表标签的任意分类， p(i|t)代表标签分类i在节点t上所占的比例。注意，当使用信息熵时，sklearn实际计算的是基于信息熵的信息增益(Information Gain)，即父节点的信息熵和子节点的信息熵之差。

比起基尼系数，信息熵对不纯度更加敏感，对不纯度的惩罚最强。但是在实际使用中，信息熵和基尼系数的效果基本相同。信息熵的计算比基尼系数缓慢一些，因为基尼系数的计算不涉及对数。另外，因为信息熵对不纯度更加敏感，所以信息熵作为指标时，决策树的生长会更加“精细”，因此对于高维数据或者噪音很多的数据，信息熵很容易过拟合，基尼系数在这种情况下效果往往比较好。当模型拟合程度不足的时候，即当模型在训练集和测试集上都表现不太好的时候，使用信息熵。当然，这些不是绝对的。

参数	criterion
如何影响模型?	确定不纯度的计算方法，帮忙找出最佳节点和最佳分枝，不纯度越低，决策树对训练集的拟合越好
可能的输入有哪些？	不填默认基尼系数，填写gini使用基尼系数，填写entropy使用信息增益
怎样选取参数？	通常就使用基尼系数(默认） 数据维度很大，噪音很大时使用基尼系数 维度低，数据比较清晰的时候，信息熵和基尼系数没区别当决策树的拟合程度不够的时候，使用信息熵 两个都试试，不好就换另外一个

到这里，决策树的基本流程其实可以简单概括如下：

 

（ 选取不纯度指标最优特征不断分枝 ）

直到没有更多的特征可用，或整体的不纯度指标已经最优，决策树就会停止生长。

建立一棵树

1.导入需要的算法库和模块

#1.导入需要的算法和模块 from sklearn import tree  #导入树 from sklearn.datasets import load_wine   #从sklearn的datasets导入生成数据集的类（红酒数据） from sklearn.model_selection import train_test_split  #从sklearn模型选择这个模块导入分测试集和训练集的类

datasets是sklearn自带的带有各种各样的数据和数据结构的库（可以从中导入各种各样知名的数据）

2.探索数据

#2.探索数据 wine = load_wine() #数据实例化 wine.data #wine是字典，data是特征矩阵 -->array([[1.423e+01, 1.710e+00, 2.430e+00, ..., 1.040e+00, 3.920e+00,         1.065e+03],        [1.320e+01, 1.780e+00, 2.140e+00, ..., 1.050e+00, 3.400e+00,         1.050e+03],        ...,        [1.413e+01, 4.100e+00, 2.740e+00, ..., 6.100e-01, 1.600e+00,         5.600e+02]]) wine.target  #target是标签矩阵，0,1,2三分类的数据集 -->array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,        0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,        0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1,        1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,        1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,        1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2,        2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,        2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,        2, 2]) wine.data.shape #查看数据结构 178行，13列即13个特征 -->(178, 13) #如果wine是一张表 import pandas as pd #concat是连接功能 pd.concat([pd.DataFrame(wine.data),pd.DataFrame(wine.target)],axis=1) #第一列是索引，0-12是特征，最后一列是标签 0 1 2 3 4 5 6 7 8 9 10 11 12