分类算法-决策树、随机森林
1.决策树
1.1 认识决策树
决策树思想的来源非常朴素,程序设计中的条件分支结构就是if-then结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法
1.2 信息论基础-银行贷款分析
每猜一次给一块钱,告诉我是否猜对了,那么我需要掏多少钱才能知道谁是冠军?我可以把球编上号,从1到32,然后提问:冠 军在1-16号吗?依次询问,只需要五次,就可以知道结果。
32支球队,log32=5比特
64支球队,log64=6比特
*1948年,香农发表了划时代的论文——通信的数学原理,奠定了现代信息论的基础
信息的单位:比特
“谁是世界杯冠军”的信息量应该比5比特少。香农指出,它的准确信息量应该是:
H = -(p1logp1 + p2logp2 + … + p32log32)
H的专业术语称之为信息熵,单位为比特。
公式:
当这32支球队夺冠的几率相同时,对应的信息熵等于5比特
如果:不知道任何一个球队的信息的话,5bit 1/32 1/32
5=-(1/32logp1/32 + 1/32log1/32 + … + 1/32log1/32)
但是当开放一些数据信息时
5<-(1/4logp1/4 + 1/4log1/4 + … )
比如德国1/4 巴西1/4 中国1/4
当得到一些信息时,信息熵是减少的。信息熵越大,不确定性越大。
1.3 决策树的生成
1.4 决策树的划分依据之一-信息增益
注:信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度
特征A对训练数据集D的信息增益g(D,A),
定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差,即公式为:
结合前面的贷款数据来看我们的公式:
- 信息熵的计算:
- 条件熵的计算:
注:𝐶_𝑘 表示属于某个类别的样本数,
其他常见决策树使用的算法
ID3
信息增益 最大的准则
C4.5
信息增益比 最大的准则
CART
回归树: 平方误差 最小
分类树: 基尼系数(划分更仔细) 最小的准则 在sklearn中可以选择划分的原则
1.5 sklearn决策树API
class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)
决策树分类器
criterion:默认是’gini’系数,也可以选择信息增益的熵’entropy’
max_depth:树的深度大小
random_state:随机数种子
method:
decision_path:返回决策树的路径
1.6 泰坦尼克号乘客生存分类
- 泰坦尼克号数据
在泰坦尼克号和titanic2数据帧描述泰坦尼克号上的个别乘客的生存状态。在泰坦尼克号的数据帧不包含从剧组信息,但它确实包含了乘客的一半的实际年龄。关于泰坦尼克号旅客的数据的主要来源是百科全书Titanica。这里使用的数据集是由各种研究人员开始的。其中包括许多研究人员创建的旅客名单,由Michael A. Findlay编辑。
我们提取的数据集中的特征是票的类别,存活,乘坐班,年龄,登陆,home.dest,房间,票,船和性别。**乘坐班是指乘客班(1,2,3),是社会经济阶层的代表。其中age数据存在缺失。
数据:http: