决策树与元算法

记决策树及元算法

决策树很长一段时间没搞懂树的形成原理，在博客上记录一下方便自己查看，欢迎各位大佬指正。
1.除了数据集和类别之外，最好在建立一个列表用来存放所有的特征，每当一个特征被用作子节点划分类别之后就删除掉这个特征
2.第一步我们要计算数据集的原始熵，这个熵和特征无关，我们利用分类的每个类别的样本数和总样本数计算原始熵，这里只记录原理公式请自行百度。
3.接下来我们划分数据集得到每个特征分类的样本数来求信息熵。如头发特征的长发，短发及对应的分类的样本数。
例如：
首先计算未分类前的熵，总共有8位同学，男生3位，女生5位。
熵（总）=-3/8log2(3/8)-5/8log2(5/8)=0.9544
同学A首先按头发分类，分类后的结果为：长头发中有1男3女。短头发中有2男2女。
熵（同学A长发）=-1/4log2(1/4)-3/4log2(3/4)=0.8113
熵（同学A短发）=-2/4log2(2/4)-2/4log2(2/4)=1
熵（同学A）=4/80.8113+4/81=0.9057
信息增益（同学A）=熵（总）-熵（同学A）=0.9544-0.9057=0.0487
这样我们计算出信息增益，比较大小信息增益最大的特征就是最优分类特征
4.如果特征子节点分类后的类别是同一类（即该类别样本数等于通过该节点的全部样本数，则输出类别），若最后一个特征也分类完成，（即数据集的样本长度为1，只剩下了类别这一项）计算剩下样本中的类别个数，最多的类别就是分类的类别，并输出。
不符合以上两种情况的，则是普通的子节点，通过递归继续3,4的步骤。

元算法

元算法就是对其他算法进行组合的一种方式。也称为集成算法(ensemble method)，例如bagging方法和boosting方法。它可以是不同算法的集成；也可以是同一算法在不同设置下的集成；还可以是数据集不同部分分配给不同分类
器之后的集成。
Adaboost有很多优点:
1)adaboost是一种有很高精度的分类器
2)可以使用各种方法构建子分类器，adaboost算法提供的是框架
3)当使用简单分类器时，计算出的结果是可以理解的，而且弱分类器构造极其简单
4)简单，不用做特征筛选
由于adaboost算法是一种实现简单、应用也很简单的算法，应该说是一种很适合于在各种分类场景下应用的算法。adaboost算法的一些实际可以使用的场景：
应用：
用于二分类或多分类的应用场景
用于做分类任务的baseline–无脑化，简单，不会overfitting，不用调分类器
用于特征选择（feature selection)
Boosting框架用于对badcase的修正–只需要增加新的分类器，不需要变动原有分类器
元算法实现过程后续补。