Datawhale 初级算法梳理 第6期（任务三）

Datawhale 初级算法梳理 第6期（任务三）

1. 信息论基础

1. 熵
   单个随机变量的熵为该随机变量的不确定度。
2. 联合熵
   联合熵就是度量一个联合分布的随机系统的不确定度
3. 条件熵
   表示在已知随机变量X的条件下随机变量Y的不确定性。
4. 信息增益
   信息增益在决策树算法中是用来选择特征的指标，信息增益越大，则这个特征的选择性越好，在概率中定义为：待分类的集合的熵和选定某个特征的条件熵之差。
5. 基尼不纯度
   基尼不纯度是用于决策树编程中的一个专业术语。是指将来自集合中的某种结果随机应用在集合中，某一数据项的预期误差率。是在进行决策树编程的时候，对于混杂程度的预测中，一种度量方式。

2. 决策树的不同分类算法

决策树，顾名思义，是一种树，一种依托于策略抉择而建立起来的树。机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，可以建立独立的决策树以处理不同输出。从数据产生决策树的机器学习技术叫做决策树学习, 通俗点说就是决策树，说白了，这是一种依托于分类、训练上的预测树，根据已知预测、归类未来。

1. ID3算法
   ID3算法（Iterative Dichotomiser 3 迭代二叉树3代）是一个由Ross Quinlan发明的用于决策树的算法。这个算法便是建立在上述所介绍的奥卡姆剃刀的基础上：越是小型的决策树越优于大的决策树。尽管如此，该算法也不是总是生成最小的树形结构，而是一个启发式算法。ID3算法的核心思想就是以信息增益度量属性选择，选择分裂后信息增益最大的属性进行分裂。该算法采用自顶向下的贪婪搜索遍历可能的决策树空间。

2. C4.5算法
   C4.5，是机器学习算法中的另一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法，也是ID3的改进算法，用信息增益率来选择属性。

3. CART分类树
   CART（Classification and Regression tree）分类回归树由L.Breiman,J.Friedman,R.Olshen和C.Stone于1984年提出。ID3中根据属性值分割数据，之后该特征不会再起作用，这种快速切割的方式会影响算法的准确率。CART是一棵二叉树，采用二元切分法，每次把数据切成两份，分别进入左子树、右子树。而且每个非叶子节点都有两个孩子，所以CART的叶子节点比非叶子多1。相比ID3和C4.5，CART应用要多一些，既可以用于分类也可以用于回归。CART分类时，使用基尼指数（Gini）来选择最好的数据分割的特征，gini描述的是纯度，与信息熵的含义相似。CART中每一次迭代都会降低GiNi系数。

3. 回归树原理

决策树实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二， 这样使得每一个叶子节点都是在空间中的一个不相交的区域，在进行决策的时候，会根据输入样本每一维feature的值，一步一步往下，最后使得样本落入N个区域中的一个（假设有N个叶子节点）。一个回归树对应着输入空间（即特征空间）的一个划分以及在划分单元上的输出值。分类树中，我们采用信息论中的方法，通过计算选择最佳划分点。而在回归树中，采用的是启发式的方法。假如我们有n个特征，每个特征有si(i∈(1,n))si(i∈(1,n))个取值，那我们遍历所有特征，尝试该特征所有取值，对空间进行划分，直到取到特征j的取值s，使得损失函数最小，这样就得到了一个划分点。

4. 决策树防止过拟合手段

过度拟合对于决策树学习和其他很多学习算法是一个重要的实践困难。有几种途径用来避免决策树学习中的过度拟合。它们可被分为两类：

1. 及早停止增长树法，在ID3算法完美分类训练数据之前停止增长树。
2. 后修剪法（post-prune），即允许树过度拟合数据，然后对这个树后修剪。

5. 模型评估

1. 保持方法
   在保持（Holdout）方法中，将被标记的原始数据划分成两个不想交的集合，分别称为训练集合检验集。在训练数据集上归纳分类模型，在检验集上评估模型的性能。训练集和检验集的划分比例通常根据分析家的判断（例如，50-50，或者2/3作为训练集、1/3作为检验集）。分类器的准确率根据模型在检验集上的准确率估计。

2. 随机二次抽样
   可以多次重复保持方法来改进对分类器性能的估计，这种方法称作随机二次抽样（random subsampling）。随机二次抽样也会遇到一些与保持方法同样的问题，因为在训练阶段也没有利用尽可能多的数据。并且，由于它没有控制每个记录用于训练和检验的次数，因此，有些用于训练的记录使用的频率可能比其他记录高很多。

3. 交叉验证
   替代随机二次抽样的一种方法是交叉验证（cross-validation）。在该方法中，每个记录用于训练的次数相同，并且恰好检验一次。为了解释该方法，假设把数据分为相同大小的两个子集，首先，我们选择一个子集作训练集，而另一个作检验集，然后交换两个集合的角色，原先作训练集的现在做检验集，反之亦然，这种方法叫做二折交叉验证。总误差通过对两次运行的误差求和得到。在这个例子中，每个样本各作一次训练样本和检验样本。k折交叉验证是对该方法的推广，把数据分为大小相同的k份，在每次运行，选择其中一份作检验集，而其余的全作为训练集，该过程重复k次，使得每份数据都用于检验恰好一次。同样，总误差是所有k次运行的误差之和。

4. 自助法
   以上方法都是假定训练记录采用不放回抽样，因此，训练集合检验集都不包含重复记录。在自助（bootstrap）方法中，训练记录采用有放回抽样，即已经选作训练的记录将放回原来的记录集中，使得它等机率地被重新抽取。

7. sklearn参数详解

逻辑回归：

from sklearn.tree import DecisionTreeRegressor

参数含义：

1. criterion:string, optional (default=“mse”)
   它指定了切分质量的评价准则。默认为’mse’(mean squared error)。

2. splitter:string, optional (default=“best”)
   它指定了在每个节点切分的策略。有两种切分策咯：
   (1).splitter=‘best’:表示选择最优的切分特征和切分点。
   (2).splitter=‘random’:表示随机切分。

3. max_depth:int or None, optional (default=None)
   指定树的最大深度。如果为None，则表示树的深度不限，直到每个叶子都是纯净的，即叶节点中所有样本都属于同一个类别，或者叶子节点中包含小于min_samples_split个样本。

4. min_samples_split:int, float, optional (default=2)
   整数或者浮点数，默认为2。它指定了分裂一个内部节点(非叶子节点)需要的最小样本数。如果为浮点数(0到1之间)，最少样本分割数为ceil(min_samples_split * n_samples)
   。

5. min_samples_leaf:int, float, optional (default=1)
   整数或者浮点数，默认为1。它指定了每个叶子节点包含的最少样本数。如果为浮点数(0到1之间)，每个叶子节点包含的最少样本数为ceil(min_samples_leaf * n_samples)。

6. min_weight_fraction_leaf:float, optional (default=0.)
   它指定了叶子节点中样本的最小权重系数。默认情况下样本有相同的权重。

7. max_feature:int, float, string or None, optional (default=None)
   可以是整数，浮点数，字符串或者None。默认为None。

8. random_state:int, RandomState instance or None, optional (default=None)
   如果为整数，则它指定了随机数生成器的种子。如果为RandomState实例，则指定了随机数生成器。如果为None，则使用默认的随机数生成器。

9. max_leaf_nodes:int or None, optional (default=None)
   如果为None，则叶子节点数量不限。如果不为None，则max_depth被忽略。

10. min_impurity_decrease:float, optional (default=0.)
    如果节点的分裂导致不纯度的减少(分裂后样本比分裂前更加纯净)大于或等于min_impurity_decrease，则分裂该节点。

11. min_impurity_split:float
    树生长过程中早停止的阈值。如果当前节点的不纯度高于阈值，节点将分裂，否则它是叶子节点。这个参数已经被弃用。用min_impurity_decrease代替了min_impurity_split。

12. presort： bool, optional (default=False)
    指定是否需要提前排序数据从而加速寻找最优切分的过程。设置为True时，对于大数据集
    会减慢总体的训练过程；但是对于一个小数据集或者设定了最大深度的情况下，会加速训练过程。

参考资料

【1】详解熵、最大熵、联合熵和条件熵、相对熵以及互信息之间的关系
【2】信息&熵&信息增益
【3】决策树分类算法
【4】分类：基本概念、决策树与模型评估
【5】机器学习sklearn中决策树模型参数释义