机器学习分类算法---决策树

决策树:

树结构,可以是二叉树或非二叉树,数据结构中的概念,只不过加上了判断条件。

信息熵:

1948年,香农提出了“信息熵”的概念。一条信息的信息量大小和它的不确定性有直接的关系,即对一件事,你不知道的越多,这件事对于你来说信息熵越大,因为你需要学的东西更多。

             计算:   H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n)        //前面的负号是因为0<P<1

决策树归纳算法(ID3):

信息获取量(Gain,增量),信息量(info):

                           Gain(A)=Info(B)-Info_A(B)        

A属性的信息获取量的值就等于,不按任何属性进行分类的时候的信息量加上按A这个属性进行分类的时候的信息量

一般按照获取量从大到小的顺序进行树的创建 

停止节点创建的条件有以下几点:

          1)给定节点的所有样本属性都属于同一种标记的时候

          2)当没有剩余属性用来进一步划分样本时,就停止节点的创建,采用多数表决

          3)分枝

C4.5算法:

       相比于ID3,它用信息增益率来选择属性。目标是监督学习,给定一个数据集,其中的每一个元组都能用一组属性值来描述,每一个元组属于一个互斥的类别中的某一类

       C4.5只适合于能够驻留于内存的数据集,当训练集大得无法在内存容纳时程序无法运行

        信息增益率GainRatio:

                                             

 

                                 

              

CART算法:

1)当CART是分类树时,采用GINI值作为节点分裂的依据;当CART是回归树时,采用样本的最小方差作为节点分裂的依据;

2)CART是一棵二叉树。

3)CART算法仍然使用后剪枝。在树的生成过程中,多展开一层就会有多一些的信息被发现,CART算法运行到不能再长出分支为止,从而得到一棵最大的决策树。然后对这棵大树进行剪枝

树剪枝叶 (避免overfitting):为了处理数据中的噪声和离群点导致的过分拟合问题

     1)先剪枝: 当分到一定程度,就不向下增长树了。

     2)后剪枝:  把树完全建好后,根据类的纯度来进行树的裁剪。

决策树的优点:

     直观,便于理解,小规模数据集有效     

 决策树的缺点:

     处理连续变量不好;类别较多时,错误增加的比较快;可规模性一般。

 

 

 

 

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值