一、决策树的构造
- 优点:计算复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以处理不相关特征数据。
- 缺点:可能会产生过度匹配问题。
- 适用数据类型:数值型和标称型。
决策树的一般流程:
- 收集数据:可以使用任何方法。
- 准备数据:树构造算法只适用于标称型数据,因此数值型数据必须离散化。
- 分析数据:可以使用任何方法,构造树完成之后,我们应该检查图形是否符合预期。
- 训练算法:构造树的数据结构。
- 测试算法:使用经验树计算错误率。
- 使用算法:此步骤可以适用于任何监督学习算法,而使用决策树可以更好地理解数据的内在含义。
使用ID3算法划分数据集。
1. 信息增益
在划分数据集之前之后信息发生的变化称为信息增益。知道如何计算信息增益,就知道计算每个特征值划分数据集获得的信息增益,获得信息增益最高的特征就是最好的选择。
熵定义为信息的期望值。如果待分类的事务可能划分在多个分类之中,则符号 x i x_i xi的信息定义为:
I ( x i ) = − log 2 p ( x i ) . I(x_i)=-\log_2p(x_i). I(xi)=−log2p(xi).
其中 p ( x i ) p(x_i) p(xi)是选择该分类的概率。并且需要计算所有类别所有可能值包含的信息期望值:
H = − ∑ i = 1 n p ( x i ) log 2 p ( x i ) . H=-\sum_{i=1}^np(x_i)\log_{2}p(x_i). H=−i=1∑np(xi)log2p(xi).
其中, n n n是分类数目。下面,创建trees.py
文件,实现信息熵的使用。
from math import log
def calcShannonEnt(dataSet):
numEntries = len(dataSet)
labelCounts = {
}
for featVec in dataSet:
currentLabel = featVec[-1]
if currentLabel not in labelCounts.keys():
labelCounts[currentLabel] = 0 # 将标签加入到字典中
labelCounts[currentLabel] += 1 # 统计每个标签的数量
shannonEnt = 0.0
for key in labelCounts:
prob = float(labelCounts[key]) / numEntries #选key分类的概率
shannonEnt -= prob * log(prob, 2) # 香农公式
return shannonEnt
测试一下:
def createDataSet():
dataSet = [[1, 1, 'yes'],
[1, 1, 'yes'],
[1, 0, 'no'],
[0 ,1, 'no'],
[0 ,1, 'no']]
labels = ['no surfing', 'flippers']
return dataSet, labels
myData, labels = createDataSet()
myData[0][-1] = 'maybe'
#print(calcShannonEnt(myData))
myData[0][-1] = 'yes' # 再改回来
'''
0.9709505944546686
'''
熵越高,混合的数据也越多。在数据集上添加一些新的标签,熵就会变大。
myData[0][-1] = 'maybe'
print(calcShannonEnt(myData))
'''
1.3709505944546687
'''
2. 划分数据集
上一节,通过度量划分数据集的熵,来判断当前是否是正确地划分了数据集。熵值越大,表示数据越混乱,自然划分成功的可能性越小。下面函数实现了以第axis
个特征值为标准,对该特征是否是value
进行划分:
# 返回对第axis列中的特征的划分 结果是value的数据
def splitDataSet(dataSet, axis, value):
retDataSet = []
for featVec in dataSet:
if featVec[axis] == value: # 第axis个特征等于value的话
reducedFeatVec = featVec[:axis] # 将axis所指的特征去除掉即可
reducedFeatVec.extend(featVec[axis + 1:])
retDataSet.append(reducedFeatVec)
return retDataSet
print(splitDataSet(myData, 0, 1))
print(splitDataSet(myData, 0, 0))
'''
#结果是去掉axis所指的特征
[[1, 'maybe'], [1, 'yes'], [0, 'no']]
[[1, 'no'], [1, 'no']]
'''
python
中的append()
和extend()
函数是有差别的:
a = [1,2,3,4,5]
b = [1,2]
b.append(a[2:])
# b = [1, 2, [3, 4, 5]]
c = [3,5]
c.extend(a[:3])
# c = [3, 5, 1, 2, 3]
下面遍历数据集,找到最好的特征值划分方式。
# 选出整个数据集最好的特征划分
def chooseBestFeatureToSplit(dataSet):
numFeatures = len(dataSet[0]) - 1 # 最后一项是标签
baseEntropy = calcShannonEnt(dataSet)
bestInfoGain = 0.0
bestFeature = -1
for i in range(numFeatures):
# 使用列表推导来创建新的列表
# 将数据集中所有第i个特征值或者所有可能存在的值写入新的list
featList = [example[i] for example in dataSet]
uniqueVals = set(featList) # 集合中值唯一 顺序排好
newEntropy = 0.0
for value in uniqueVals:
# 按照第i个特征进行划分
subDataSet