机器学习实战-决策树

目录

一、决策树是什么？

二、代码实现

1.信息增益

2.数据集

3.决策树

4.使用Matplotlib绘制决策树

5.实验结果

总结

---

一、决策树是什么？

        决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。

 

二、代码实现

1.信息增益

代码实现 

#计算信息增益
def chooseBestFeatureToSplit(dataSet):
    numFeatures = len(dataSet[0]) - 1
    baseEntropy = calcShannonEnt1(dataSet)
    bestInfoGain = 0.0                       
    bestFeature = -1                         
    for i in range(numFeatures):
        featList = [example[i] for example in dataSet]
        uniqueVals = set(featList)
        newEntropy = 0.0
        for value in uniqueVals:
            subDataSet = splitDataSet(dataSet,i,value)
            prob = len(subDataSet)/float(len(dataSet))
            newEntropy += prob * calcShannonEnt(subDataSet)   #计算香农熵
        infoGain = baseEntropy - newEntropy        #计算信息增益
        if (infoGain >bestInfoGain):
            bestInfoGain = infoGain      
            bestFeature = i              
    return bestFeature