目录:
一、特点
二、如何构建决策树
三、剪枝
四、随机森林
一、特点
(1)非参数学习算法
(2)可以解决分类问题
(3)天然可以解决多分类问题
(4)也可以解决回归问题
(5)非常好的可解释性
二、如何构建决策树
(1)熵:在信息论中代表随机变量不确定度的度量。
(2)熵越大,数据的不确定性越高;熵越小,数据的不确定性越低。
(3)信息熵:
3、信息增益(ID3):代表了在一个条件下,信息不确定性减少的程度。
4、信息增益率(C4.5):代表了在一个条件下,熵/信息增益。
5、基尼系数(CART)
(1)
(2)基尼系数越高,数据的不确定性越强;基尼系数越低,数据的不确定性弱。
5、评价函数(类似损失函数,越小越好):Nt:叶子结点中样本个数,H(t):熵值
6、
(1)决策树能够处理连续型的属性。首先将连续型属性离散化,把连续型属性的值分成不同的区间,依据是比较各个分裂点Gian值的大小。
(2)缺失数据的考虑:在构建决策树时,可以简单地忽略缺失数据,即在计算增益时,仅考虑具有属性值的记录。
三、剪枝
(1)预剪枝:在构建决策树的过程中,提前停止。
(2)后剪枝:决策树构建好后,才开始裁剪。
(3)叶子结点个数越多,损失越大;叶子结点个数:
四、随机森林
(1)Bootstraping:有放回采样。
(2)Bagging:有放回采样n个样本一共建立分类器。
(3)这里的随机有双重随机性:一是数据的选择随机性;二是特征的选择随机性。