决策树(ID3)

参考自“机器学习实战”

import numpy as np
from collections import *
from math import log
def createDataset():
    dataSet = [
       [1, 1, 'yes'],
       [1, 1, 'yes'],
       [1, 0, 'no'],
       [0, 1, 'no'],
       [0, 1, 'no']
    ]
    labels  = ['no surfacing', 'flippers']
    return dataSet,labels

def calcShannonEnt(dataset):

    label_count = Counter([data[-1] for data in dataset])
    print(label_count)
    probs = [p[1]/len(dataset) for p in label_count.items()]
    shannonEnt = sum([(-p)*log(p,2) for p in probs])
    return shannonEnt

def splitDataSet(dataSet,index,value):
    retDataset = [data for data in dataset for i,v in enumerate(data) if i==index and v==value]

def chooseBestFeatureToSplit(dataSet):
    base_entropy = calcShannonEnt(dataset)
    base_info_gain =0
    best_feature = -1

    for i in range(len(dataset[0]-1)):
        feature_count = Counter(data[i] for data in dataset)
        new_entropy = sum(feature[1]/float(len(dataset)) * calcShannonEnt(splitDataSet(dataset,i,feature[0])) \
                            for feature in feature_count.items() )

        info_gain = base_entropy - new_entropy
        print('now. {%d} feature info is {.3f}'.format(i,info_gain))
        if info_gain > base_info_gain:
            base_info_gain = info_gain
            best_feature = i

    return best_feature

def majorityCnt(classList):
    major_label = Counter(classList).most_common(1)[0]
    return major_label


def createTree(dataSet,labels):
    classList = [e[-1] for e in dataset]






if __name__ == "__main__":
    dataset,label = createDataset()
    calcShannonEnt(dataset)



    # d = [1, 1, 'yes']
    # for i,v in enumerate(d):
    #     print(i,v)

然后,构建树的过程,是一个递归的过程,递归终止的条件:

  • 1)遍历完所有划分数据集的属性;
  • 2)某个分支下所有实例都具有相同的分类。

递归的流程:

  • 寻找划分数据集的最好特征
  • 划分数据集
  • 创建分支节点
    • for 每个分支节点
      • 递归,并增加返回结果到分支节点中
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
决策树ID3MATLAB是一种使用ID3算法在MATLAB中构建决策树的方法。ID3算法最早由罗斯昆于1975年提出,它通过计算每个属性的信息增益来选择最佳的划分属性,并重复这个过程直到生成一个能完美分类训练样例的决策树ID3MATLAB是基于这个算法的实现,它首先进行数据预处理,然后使用自定义函数构造ID3决策树,并最后打印并绘制出决策树的结构。ID3算法是一种贪心算法,它以信息熵的下降速度为标准选取测试属性,即选择具有最高信息增益的属性作为划分标准,并继续这个过程直到生成的决策树能完美分类训练样例。因此,决策树ID3MATLAB是一种使用ID3算法在MATLAB中构建决策树的方法。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [m基于ID3决策树算法的能量管理系统matlab仿真](https://blog.csdn.net/hlayumi1234567/article/details/128688033)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [matlab决策树 id3算法实现多叉形图显示](https://blog.csdn.net/justsolow/article/details/99355068)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值