python 决策树简例

有这样的一组数据，表示了不同个体的电脑购买决策。现在用决策树的手段
- 使用python中的scikit-learn库
- 安装scikit-learn: pip install sklearn
- 安装必要package：numpy, SciPy 和 matplotlib

---

1. 首先，将数据进行预处理

将csv文件中的数据提取到两个列表中：featureList和labelList
featureList 即列表中橙色部分
labelList 即列表中蓝色部分

import csv
f = open('E:/AllElectronics.csv','rt')
reader = csv.reader(f)  #将该csv文件按行读取
headers = next(reader)  #读取csv的首行

featureList = []  #用来装特征向量(年龄、是否学生等，用字典表示)的列表
labelList = []   #装目标函数(是否购买电脑)的列表

for row in reader:
    labelList.append(row[-1])
    rowDict={}
    for i in range(1, len(row)-1):
        rowDict[headers[i]] = row[i]
    featureList.append(rowDict)

2.利用sklearn的内置功能转化成0-1数据

要将上图所示的数据类型转化成下图所示的，这样才能通过sklearn进行模型的创造和学习。sklearn中自带的包可以自动进行转化。

from sklearn.feature_extraction import DictVectorizer
vec = DictVectorizer() 
dummyX = vec.fit_transform(featureList) .toarray()

featureList 经转化后变为:

from sklearn import preprocessing
lb = preprocessing.LabelBinarizer()
dummyY = lb.fit_transform(labelList)

labelList 经转化后变为:

3.构建决策树模型

先生成一个分类器(Classifier)

from sklearn import tree
# clf = tree.DecisionTreeClassifier()
clf = tree.DecisionTreeClassifier(criterion='entropy')#选择标准：ID3算法(信息熵之间的差值)|默认为CART算法
clf = clf.fit(dummyX, dummyY) #利用处理好的数据进行建模

# Visualize model 模型可视化
with open("allElectronicInformationGainOri.dot", 'w') as f:
    f = tree.export_graphviz(clf, feature_names=vec.get_feature_names(), out_file=f)
    #将决策树保存在一个doc文档中，将feature_names返回以前的特征值

然后可以利用 graphviz 将doc文档转化成决策树的图形形式(关于graphviz的安装和使用)
在cmd中

dot -Tpdf *****.doc -o *****.pdf #pdf改为jpg即可转出jpg格式文件

输出结果为:

4.预测

现定义一组新的数据进行预测：

newRowX = [1, 0, 0, 0, 1, 1, 0, 0, 1, 0]
predictedY = clf.predict(newRowX)
#predictedY 即为预测结果， 值为0表示不购买，1表示购买