机器学习之决策树原理及其python实现

最新推荐文章于 2024-02-25 18:09:05 发布
最新推荐文章于 2024-02-25 18:09:05 发布
阅读量771 收藏 4
点赞数
分类专栏： 机器学习 文章标签： 决策树 python 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cug_humoumou/article/details/107030788
版权

机器学习之决策树原理及代码实现

写在前面

这是我开始入坑的第一篇博客，全部内容基于我的理解和参考博客，参考书籍为李航的《统计学习方法》。如有不对的地方欢迎评论指出，谢谢大家。

决策树

1.决策树的定义

《统计学习方法》中提出，决策树是一种基本的分类与回归方法。决策树模型呈现树状结构，在分类问题中，表示基于特征对实例进行分类的过程。决策树学习通常包括三个步骤：特征选择、决策树生成和决策树修剪。

分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一种特征和属性，叶结点表示一个类。

用决策树分类，从根结点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子结点；这事每个结点对应该特征的一个取值。如此递归地对实例进行测试并分配，直至达到叶结点。最后将实例分到叶结点地类中。
在这里插入图片描述

2.决策树我的理解

上面的官方定义说完了，现在用个例子来说明决策树模型。夏天到了，你突然很想吃冰西瓜。然后你来到西瓜店，但是你不知道什么样的西瓜是好西瓜，你发微信问你妈，你妈发了张图给你。
怎么选西瓜
选瓜的时候，首先看颜值，圆润的一般好瓜比较多，长得丑的一般也不愿意买。光看颜值是不够的，这时候，看看瓜柄，瓜柄的好坏能看出这个瓜新不新鲜，但是也有可能放的时间稍微有点久，但是瓜，还是可以买，也是好瓜，接下来敲敲西瓜，听声音。最后你选了个好瓜，带回家了。

这里面，买西瓜的整个流程就构成了决策树模型。决策树模型的作用就是在帮你逐渐接近你想要的目标。你从一开始完全不懂的时候去选瓜，那么是好是坏全凭天意。拿到你妈发给你的表的时候，你根据颜值、瓜柄和声音，最后选出了好瓜。而颜值、瓜柄和声音就代表着西瓜的一种特征。最后好坏与否，就是决策树模型的一个类。

那么，我们为什么选出这个特征作为决策树的叶结点？比如为什么我们不把黄西瓜和绿色西瓜放一块，它们的颜色也是不同的，那么根据这两种颜色能不能判断出西瓜的好坏？答案是不能，因为绿色和黄色是西瓜的两个品种，根据这条信息，我们选择出的西瓜，并不能帮助我们减少找到好西瓜的不确定性。也就是，就算利用黄色和绿色对西瓜分了类，我们挑选出好西瓜和坏西瓜的概率，和没分类之前一样。那么这个特征除了增加了模型的复杂度，基本上没有作用。那么，在决策树模型中，特征选择的准则就是信息增益和信息增益比。

特征选择

信息增益

《统计学习方法》中对信息增益的定义为，表示特征信息X的信息而使得类Y得信息的不确定性减少。

还是用买西瓜举例子，我们在没有得到老妈的表的时候，我们完全没办法缩小我们的挑选范围。但是，得到表后，我们先根据颜值，将西瓜区分一下，这时候我们在颜值高的西瓜中，挑选一个，就有1/2的概率选中好瓜，这说明颜值这个特征帮助我们缩小了选西瓜的范围，排除了那些不好看的。也就是帮助我们减小了选瓜的不确定性。那么这个特征的信息增益符合我们的要求，就应该出现在决策树模型中。

那么，选瓜不确定性是什么？
在这里插入图片描述
信息熵定义了一个随机变量的不确定性，熵越大，随机变量的不确定性也就越高。

之前我们只知道，信息增益可以帮助我们进行特征选择，排除掉没用的特征。但是信息熵的出现，定义了不确定性。这时候我们就可以量化我们的信息增益。
在这里插入图片描述
还是用西瓜解释一下这个公式。假如现在有十个西瓜，我们在没得到表之前，获得好西瓜的经验熵（不确定性）为H(D)，之后我们得到表，根据颜值，将瓜分类了，这时候我们获得好瓜的经验熵为H(D|A)。那么特征A对于我们选西瓜这件事，有多大的作用，也就是能帮助我们将选瓜的不确定性降低多少，通过H(D)和H(D|A)的差值，也就定量的表达出特征A的作用。也就是信息增益。

那么经验熵怎么计算呢？书中给出计算步骤如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这部分没啥好说的，就是套公式计算就行。

信息增益比

在这里插入图片描述
既然信息增益可以帮助我们进行特征选择，为什么还需要特征增益比呢？这里面涉及一个问题。还是以西瓜为例，现在你一周，每天买西瓜，记录如下：

周一周二周三周四周五周六周日
小明小红小明小明小红小红小红
好不好好不好好好不好

那么我们现在假如用周几作为特征A，因为每一天都将样本完全分开，求得的H(D|A) = 0。然后我们使用店家作为特征B，求得H(D|Ｂ) = 0.679。这时候，哇塞，肯定是用周几作为特征好啊，信息增益这么大。但是应该都清楚，这种特征对于样本的分割没有任何的意义。这是因为，在相同条件下，信息增益会偏向分类较多的特征。为了解决这个问题，这时候就需要信息增益比出场了。

算法实现

ID3算法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
代码部分：

import numpy as np


# 载入训练数据
def LoadData(filename):
    data = []
    label = []
    file = open(filename)

    for line in file.readlines():
        curline = line.strip().split(',')
        data.append([int(int(dt) > 128) for dt in curline[1:]])   #二值化
        label.append(int(curline[0]))
    return data, label


# 计算经验熵H(D)
def cal_H_D(trainLabel):
    H_D = 0
    arr = [0] * 10
    for i in trainLabel:
        arr[int(i)] += 1
    for j in arr:
        if j != 0:
            p = j / len(trainLabel)
            H_D += -1 * p * np.log2(p)
    return H_D


# 计算条件熵H(D|A)
def cal_H_D_A(feature, trainLabel):
    label0 = []
    label1 = []

    # 已经二值化，所以可能取值为0和1
    for i in range(feature.size):
        if feature[i] == 0:
            label0.append(trainLabel[i])
        else:
            label1.append(trainLabel[i])
    H_D_A = (len(label0) / len(feature) * cal_H_D(label0)) + (len(label1) / len(feature) * cal_H_D(label1))
    return H_D_A


# 我这里用的是Mnist数据集，所以标签只有0-9
def MaxClass(trainLabel):
    label = [0] * 10
    for i in trainLabel:
        label[int(i)] += 1
    return label.index(max(label))

# 挑选出信息增益最大的特征
def getFeature(trainData, trainLabel):
    trainData = np.array(trainData)
    trainLabel = np.array(trainLabel)
    featureNum = trainData.shape[1]
    MaxG_D_A = -1
    feature = -1
    for i in range(featureNum):
        H_D = cal_H_D(trainLabel)
        G_D_A = H_D - cal_H_D_A(trainData[:, i], trainLabel)
        if G_D_A > MaxG_D_A:                    
            MaxG_D_A = G_D_A
            feature = i
    return MaxG_D_A, feature


# 根据书中的ID3算法步骤的第五步，对数据集进行拆分
def splitData(trainData, trainLabel, Ag, value):
    ReTrainData = []
    ReTrainLabel = []
    for i in range(len(trainData)):
        if trainData[i][Ag] == value:
            ReTrainData.append(trainData[i][0:Ag] + trainData[i][Ag+1:])
            ReTrainLabel.append(trainLabel[i])
    return ReTrainData, ReTrainLabel


# 根据书上的算法流程，利用递归建立决策树
def creatFeatureTree(trainData, trainLabel):
    
    feature = {label for label in trainLabel}
    Threshold = 0.1 #阈值

    print(len(trainData[0]), len(trainLabel))

    if len(feature) == 1:
        return trainLabel[0]
    if len(trainData[0]) == 0:
        return MaxClass(trainLabel)
    
    gain, Ag = getFeature(trainData, trainLabel)
    if gain < Threshold:
        return MaxClass(trainLabel)
    
    Tree = {Ag:{}}
    
    trainData0, trainLabel0 = splitData(trainData, trainLabel, Ag, 0)
    Tree[Ag][0] = creatFeatureTree(trainData0, trainLabel0)
    trainData1, trainLabel1 = splitData(trainData, trainLabel, Ag, 1)
    Tree[Ag][1] = creatFeatureTree(trainData1, trainLabel1)
    return Tree


def predict(testDataList, tree):
    while True:
        (key, value), = tree.items()
        if type(tree[key]).__name__ == 'dict':
            dataVal = testDataList[key]
            del testDataList[key]

            tree = value[dataVal]

            if type(tree).__name__ == 'int':
                return tree

        else:
            return value


def test(testDataList, testLabelList, tree):
    errorcnt = 0
    for i in range(len(testDataList)):
        if testLabelList[i] != predict(testDataList[i], tree):
            errorcnt += 1
    return 1 - errorcnt / len(testDataList)


if __name__ == "__main__":
    
    print('read train data')
    trainData, trainlabel = LoadData('Mnist/mnist_train/mnist_train.csv')

    print('read test data')
    testData, testlabel= LoadData('Mnist/mnist_test/mnist_test.csv')

    print('start creat tree')
    Tree = creatFeatureTree(trainData, trainlabel)
    print(Tree)

    print('start test')
    accur = test(testData, testlabel, Tree)
    print('accurancy is: ', accur)

C4.5算法

C4.5算法与ID3算法相似，主要是特征选择部分，采用了信息增益比来进行特征选择。
在这里插入图片描述
代码实现部分，参考上面，就不写了。

CART决策树

CART决策树的生成采用了基尼指数选择最优特征，同时决定了 该特征的最优二值切分点。
在这里插入图片描述
CART树的生成：
在这里插入图片描述
在这里插入图片描述
代码实现：

import numpy as np
import math


T = 0

# 载入数据
def LoadData(filename):
    data = []
    label = []
    file = open(filename)

    for line in file.readlines():
        curline = line.strip().split(',')
        data.append([int(int(dt) > 128) for dt in curline[1:]])   #二值化
        label.append(int(curline[0]))
    return data, label

# 返回分类标签
def MaxClass(trainLabel):
    label = [0] * 10
    for i in trainLabel:
        label[int(i)] += 1
    return label.index(max(label))

# 计算基尼指数
def Gini(trainlabel):
    p = 0
    label = [0] * 10
    for i in trainlabel:
        label[int(i)] += 1
    for j in label:
        p += math.pow((j / len(trainlabel)), 2)
    return 1 - p


def calcGini(feature, trainlabel):
    GiniValue = -1
    label0 = []
    label1 = []

    for i in range(feature.size):
        if feature[i] == 0:
            label0.append(trainlabel[i])
        else:
            label1.append(trainlabel[i])
    if len(label0) == 0:
        GiniValue = Gini(label1)
    elif len(label1) == 0:
        GiniValue = Gini(label0)
    else:
        GiniValue = len(label0) / trainlabel.size * Gini(label0) + len(label1) / trainlabel.size * Gini(label1)
    return GiniValue

# 获得最优特征
def getFeature(trainData, trainLabel):
    trainData = np.array(trainData)
    trainLabel = np.array(trainLabel)
    featureNum = trainData.shape[1]
    MinGini = 100
    feature = -1
    for i in range(featureNum):
        Gini = calcGini(trainData[:, i], trainLabel)
        if Gini < MinGini:
            MinGini = Gini
            feature = i
    return MinGini, feature

# 拆分数据
def splitData(trainData, trainLabel, Ag, value):
    ReTrainData = []
    ReTrainLabel = []
    for i in range(len(trainData)):
        if trainData[i][Ag] == value:
            ReTrainData.append(trainData[i][0:Ag] + trainData[i][Ag+1:])
            ReTrainLabel.append(trainLabel[i])
    return ReTrainData, ReTrainLabel

# 创建CART决策树
def creatCARTtree(trainData, trainLabel):
    global T
    feature = {label for label in trainLabel}
    Threshold = 0.2

    print(len(trainData[0]), len(trainLabel))
    if len(feature) == 1:
        T += 1
        return trainLabel[0], 0
    if len(trainData[0]) == 0:
        T += 1
        return MaxClass(trainLabel), 0
    
    Gini, Ag = getFeature(trainData, trainLabel)
    if Gini < Threshold:
        T += 1
        return MaxClass(trainLabel), Gini
    
    Tree = {Ag:{}}
    Gini_tree = {Gini:{}}
    trainData0, trainLabel0 = splitData(trainData, trainLabel, Ag, 0)
    Tree[Ag][0], Gini_tree[Gini][0] = creatCARTtree(trainData0, trainLabel0)
    trainData1, trainLabel1 = splitData(trainData, trainLabel, Ag, 1)
    Tree[Ag][1], Gini_tree[Gini][1] = creatCARTtree(trainData1, trainLabel1)
    return Tree, Gini_tree

# 预测数据
def predict(testDataList, tree):
    while True:
        (key, value), = tree.items()
        if type(tree[key]).__name__ == 'dict':
            dataVal = testDataList[key]
            del testDataList[key]

            tree = value[dataVal]

            if type(tree).__name__ == 'int':
                return tree

        else:
            return value

# 计算准确率
def test(testDataList, testLabelList, tree):
    errorcnt = 0
    for i in range(len(testDataList)):
        if testLabelList[i] != predict(testDataList[i], tree):
            errorcnt += 1
    return 1 - errorcnt / len(testDataList)


if __name__ == "__main__":
    
    print('read train data')
    trainData, trainlabel = LoadData('Mnist/mnist_train/mnist_train.csv')

    print('read test data')
    testData, testlabel= LoadData('Mnist/mnist_test/mnist_test.csv')
    
    print('start creat tree')
    Tree, Gini_tree = creatCARTtree(trainData, trainlabel)
    print(Tree)

    print('start test')
    accur = test(testData, testlabel, Tree)
    print('accurancy is: ', accur)

三种算法的对比

ID3 算法的不足：
（1）在相同条件下，信息增益的特征选择偏向于比较多的特征
（2）没有考虑过拟合问题

C4.5 算法改进：
（1）采用信息增益比代替信息增益

CART 树改进：
（1）使用基尼指数进行特征选择
（2）采用后剪枝法，即先生成决策树，再产生所有可能的剪枝后的CART树，然后采用交叉验证，选择泛化能力最好的决策树。

参考博客: 决策树原理剖析及实现.

cug_humoumou
关注
专栏目录
Python机器学习——决策树
calisenanming的博客
10-18 1162
当样本不均衡是，通过字典模式传入真实的样本标签比例，如{‘标签值1：权重1’，‘标签值2：权重2’}，手动调整倾斜。基于特征空间划分的类的条件概率模型由很多，训练模型既要对训练数据由很好的拟合，也要对未知数据有很好的预测。属性是在模型训练之后能够调用查看的模型的各种性质，对决策树来书，最重要的是feature_importances_,能够查看各个特征对模型的重要性。feature_name = ['酒精','苹果酸','灰','灰的碱性','镁','总酚','类黄酮','非黄烷类分类','花青素',
机器学习-基于Python实现的机器学习算法之决策树.zip
最新发布
03-03
决策树是一种广泛应用于数据挖掘和机器学习的算法，它通过构建一种树状模型来做出预测。在本资料包中，重点讲述了如何使用Python语言来实现决策树算法。Python因其丰富的库支持，成为机器学习领域非常受欢迎的编程...
机器学习实验二---决策树python
qq_51729332的博客
11-12 2444
机器学习 决策树 实验 python
【机器学习】决策树原理以及代码实现
weixin_41861700的博客
07-16 360
决策树(Decision Tree）什么是决策树信息论基础知识决策树Python代码 什么是决策树 决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 信息熵（系统的凌乱程度），使用算法ID3, C4.5和C5.
「机器学习」笔记1：决策树原理及实现
chenyr0021
12-18 396
详细讲解机器学习中决策树的原理，及代码实现
机器学习 | 决策树的理论与实践
leadai的博客
07-01 421
七月 上海 | 高性能计算之GPU CUDA培训7月27-29日三天密集式学习  快速带你入门阅读全文&gt;正文共2165个字，25张图，预计阅读时间15分钟。一个小故...
机器学习+决策树+python实现对率回归决策树
04-28
通过该代码读者能够掌握机器学习课程中对率回归决策树的基本绘制方法，能够根据自己的需求快速的更换数据集，具有一定的应用价值。 不足 对于正确率相同的节点，选取优先遍历的属性作为根节点，与基于信息增益进行...
Python机器学习之决策树算法实例详解
12-25
本文实例讲述了Python机器学习之决策树算法。分享给大家供大家参考，具体如下： 决策树学习是应用最广泛的归纳推理算法之一，是一种逼近离散值目标函数的方法，在这种方法中学习到的函数被表示为一棵决策树。决策树...
西瓜书《机器学习》---第四章 决策树python代码实现
06-21
4.3 编程实现基于信息熵进行划分选择的决策树算法，并为西瓜数据集3.0中的数据生成一颗决策树。 4.4 编程实现基于基尼指数进行划分选择的决策树算法，为西瓜数据集2.0生成预剪枝、后剪枝决策树，并与未剪枝决策树...
机器学习之决策树原理与Python实现
taxuezcy的博客
04-25 445
    有一段时间没来更新博客了，这段时间总体把机器学习的几个基本原理理解了一遍，又利用Keras、opencv、tensorflow等将人脸识别，汉字识别等功能重新实现了一遍，算是有点小感悟。接下来会针对每一种机器学习算法原理做详细讲解以及工程实现。因为在实际工作中，虽然有很多很成熟的框架可以用，但是如何用好，达到一定效率和效果就依赖对原理的理解了。废话不多说了，开始我们的学习之旅吧！一、关键问...
机器学习决策树代码实现
02-23
决策树代码实现，采用机器学习库来实现的，用来做学习用
Python机器学习算法之决策树算法
ProChick's Blog
05-11 2841
决策树算法1.算法概述2.算法种类3.算法示例4.决策树构建示例5.算法实现步骤6.算法相关概念7.算法实现代码8.算法优缺点9.算法优化 1.算法概述 决策树算法是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法。 分类算法是利用训练样本集获得分类函数即分类模型(分类器)，从而实现将数据集中的样本划分到各个类中。分类模型通过学习训练样本中属性集与类别之间的潜在关系，并以此为依据对新样本属于哪一类进行预测。 决策树算法
机器学习 - 决策树实现
呵呵
09-14 525
决策树原理篇 ID3算法：http://blog.csdn.net/zk_j1994/article/details/74066406 C4.5算法：http://blog.csdn.net/zk_j1994/article/details/74560278 CART算法：http://blog.csdn.net/zk_j1994/article/details/74606412
机器学习-决策树（python）
qq_56424896的博客
11-14 2942
决策树(Decision Tree）是在已知各种情况发生概率的上，通过构成决策树来求取净现值的值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法,和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。
Python机器学习-决策树篇
qq_38333578的博客
01-09 454
Python机器学习之-决策树篇 决策树作为机器学习常用算法，更是作为集成学习的基础，不可谓不重要，在这里简单介绍决策树的原理及应用 一：决策树原理 顾名思义决策树是一个树状结构（由于算法的不同也决定了是二叉树还是多叉树，后面会详细描述），从根节点走向叶子节点，实际上决策树就相当于是if-else，便于理解，下图形象的展示了决策树的学习过程，从上到下的节点顺序代表了特征对结果的重要性顺序 二：决...
机器学习（决策树算法的实现）
SiLenceJiong的博客
01-16 1339
使用anaconda中的jupter notebook来完成决策树算法的实现。
Python机器学习之决策树
CJW的博客
03-17 738
决策树的枝叶： 以相亲为例： 女儿：多大年纪了？ 母亲：26 女儿：长的帅不帅？ 母亲：挺帅的 女儿：收入高不？ 母亲：不算很高，中等情况。 女儿：是公务员不？ 母亲：是，在税务局上班呢。 女儿：那好，我去见见。 那么如何选择根部节点，中间节点呢？（属性选择的先后顺序）列名：属性 可以通过 熵值 信息增益 信息增益率 1.熵(entropy) 是信息的度量单位，是一种 对属性“不确定性的度量”...
决策树算法原理详解+python代码实现
qq_46426207的博客
02-25 930
决策树算法的一般步骤，原理介绍，从零函数实现以及scikit-learn调库实现，包括matplotlib可视化和grahviz可视化结果展示。
决策树学习：Python实现与信息增益解析
"这篇资源是关于使用Python进行机器学习实战，特别是决策树的应用。通过理解决策树的原理，以及信息增益和信息熵等概念，读者可以深入掌握如何利用Python构建决策树模型。" 在机器学习领域，决策树是一种常用的分类...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值