决策树（基于增益率）之python实现

最新推荐文章于 2023-10-12 08:44:14 发布

大咖爱爬虫

最新推荐文章于 2023-10-12 08:44:14 发布

阅读量1k

点赞数 1

分类专栏： Python入门网络爬虫数据分析文章标签： Python

本文链接：https://blog.csdn.net/ajian6/article/details/101770101

版权

本文介绍了如何使用Python实现决策树算法，重点在于增益率的选择标准。通过计算信息熵、增益和增益率，筛选并确定最佳划分属性。文中提供了一个手动编写的决策树代码示例，并在简化后的西瓜数据集上进行了测试，结果显示了决策树的结构，但对部分未知类别处理方式提出了疑问。

摘要由CSDN通过智能技术生成

如图，为使用到的公式，信息熵表明样本的混乱程度，增益表示熵减少了，即样本开始分类，增益率是为了平衡增益准则对可取值较多的属性的偏好，同时增益率带来了对可取值偏小的属性的偏好，实际中，先用增益进行筛选，选取大于增益平均值的，然后再选取其中增益率最高的。

以下代码纯粹手写，未参考其他人代码，如果问题，请不吝赐教。

1，计算信息熵的函数

import numpy as np
# 计算信息熵
# data:like np.array
# data.shape=(num_data,data_features+1) 即属性与label放一起了
def entropy(data,num_class):
    class_set=list(set(data[:,-1]))
    result=0
    length=len(data)
#     这里修改一下，不使用num_class
    for i in range(len(class_set)):
        l=len(data[data[:,-1]==class_set[i]])
        p=l/length
#         防止某类未出现，概率为0
        if p>0:
            result-=p*np.log2(p)
    return result
Python学习qq群：10667510，送全套爬虫学习资料与教程~

2，计算增益及属性a的固有值（IV）

# 计算不同属性的信息增益
# detail_features：特征构成的list，每个特征的可取值构成list元素，即也是list
def calculate_gain(data,detail_features,num_class):
　　'''返回各属性对应的信息增益及平均值'''
    result=[]
    ent_data=entropy(data,num_class)
    for i in range(len(detail_features)):
        res=ent_data
        for j in range(len(detail_features[i])):
#             有问题？
            part_data=data[data[:,i]==detail_features[i][j]]
            length=len(part_data)