周志华《机器学习》第四章决策树-调用sklearn.tree实现

周志华《机器学习》第四章决策树-调用sklearn.tree实现

一、导入需要用的包

import csv  # 导入文件
import pandas as pd
from sklearn.feature_extraction import DictVectorizer  # 用于生成哑变量
from sklearn import tree

二、导入数据

1、利用csv导入数据

melon = open(r".../data/watermelon_3.csv","rt")  
reader = csv.reader(melon)   # 迭代器
headers = next(reader)   # python2语法为reader.next()
print(headers) 

# ['编号', '色泽', '根蒂', '敲声', '纹理', '脐部', '触感', '密度', '含糖率', '好瓜']
for row in reader:
    print(row)

# ['1', '青绿', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', '0.697', '0.46', '是']
# ['2', '乌黑', '蜷缩', '沉闷', '清晰', '凹陷', '硬滑', '0.774', '0.376', '是']
# ['3', '乌黑', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', '0.634', '0.264', '是']
# ['4', '青绿', '蜷缩', '沉闷', '清晰', '凹陷', '硬滑', '0.608', '0.318', '是']
# ['5', '浅白', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', '0.556', '0.215', '是']
# ['6', '青绿', '稍蜷', '浊响', '清晰', '稍凹', '软粘', '0.403', '0.237', '是']
# ['7', '乌黑', '稍蜷', '浊响', '稍糊', '稍凹', '软粘', '0.481', '0.149', '是']
# ['8', '乌黑', '稍蜷', '浊响', '清晰', '稍凹', '硬滑', '0.437', '0.211', '是']
# ['9', '乌黑', '稍蜷', '沉闷', '稍糊', '稍凹', '硬滑', '0.666', '0.091', '否']
# ['10', '青绿', '硬挺', '清脆', '清晰', '平坦', '软粘', '0.243', '0.267', '否']
# ['11', '浅白', '硬挺', '清脆', '模糊', '平坦', '硬滑', '0.245', '0.057', '否']
# ['12', '浅白', '蜷缩', '浊响', '模糊', '平坦', '软粘', '0.343', '0.099', '否']
# ['13', '青绿', '稍蜷', '浊响', '稍糊', '凹陷', '硬滑', '0.639', '0.161', '否']
# ['14', '浅白', '稍蜷', '沉闷', '稍糊', '凹陷', '硬滑', '0.657', '0.198', '否']
# ['15', '乌黑', '稍蜷', '浊响', '清晰', '稍凹', '软粘', '0.36', '0.37', '否']
# ['16', '浅白', '蜷缩', '浊响', '模糊', '平坦', '硬滑', '0.593', '0.042', '否']
# ['17', '青绿', '蜷缩', '沉闷', '稍糊', '稍凹', '硬滑', '0.719', '0.103', '否']


2、利用pandas导入数据

# melon = pd.read_csv(".../data/watermelon_3.csv",encoding='GB18030') 
# headers = list(melon.columns )
# print(headers)  

# ['编号', '色泽', '根蒂', '敲声', '纹理', '脐部', '触感', '密度', '含糖率', '好瓜']


三、转变数据格式

1、利用reader(csv导入的迭代器)

featureList = []    
labelList = []  

#存放在两个元祖中  
for row in reader:  
    labelList.append(row[len(row)-1])  
    rowDic = {}  
    for i in range(1,len(row)-1):  
        rowDic[headers[i]] = row[i]  
    featureList.append(rowDic)  
    
print(featureList ) 
print(labelList )


2、利用melon(pandas导入文件)

featureList = []    
labelList = []  

#存放在两个元祖中  
for i in range(melon.shape[0]):  
    labelList.append(melon['好瓜'][i])  
    rowDic = {}  
    for j in range(1, melon.shape[1] - 1):
        rowDic[headers[j]] = melon.loc[i][j]  
    featureList.append(rowDic)  
    
print(featureList ) 
print(labelList ) 
[{'色泽': '青绿', '根蒂': '蜷缩', '敲声': '浊响', '纹理': '清晰', '脐部': '凹陷', '触感': '硬滑', '密度': '0.697', '含糖率': '0.46'}, 
{'色泽': '乌黑', '根蒂': '蜷缩', '敲声': '沉闷', '纹理': '清晰', '脐部': '凹陷', '触感': '硬滑', '密度': '0.774', '含糖率': '0.376'}, 
{'色泽': '乌黑', '根蒂': '蜷缩', '敲声': '浊响', '纹理': '清晰', '脐部': '凹陷', '触感': '硬滑', '密度': '0.634', '含糖率': '0.264'}, 
{'色泽': '青绿', '根蒂': '蜷缩', '敲声': '沉闷', '纹理': '清晰', '脐部': '凹陷', '触感': '硬滑', '密度': '0.608', '含糖率': '0.318'}, 
{'色泽': '浅白', '根蒂': '蜷缩', '敲声': '浊响', '纹理': '清晰', '脐部': '凹陷', '触感': '硬滑', '密度': '0.556', '含糖率': '0.215'}, 
{'色泽': '青绿', '根蒂': '稍蜷', '敲声': '浊响', '纹理': '清晰', '脐部': '稍凹', '触感': '软粘', '密度': '0.403', '含糖率': '0.237'}, 
{'色泽': '乌黑', '根蒂': '稍蜷', '敲声': '浊响', '纹理': '稍糊', '脐部': '稍凹', '触感': '软粘', '密度': '0.481', '含糖率': '0.149'}, 
{'色泽': '乌黑', '根蒂': '稍蜷', '敲声': '浊响', '纹理': '清晰', '脐部': '稍凹', '触感': '硬滑', '密度': '0.437', '含糖率': '0.211'}, 
{'色泽': '乌黑', '根蒂': '稍蜷', '敲声': '沉闷', '纹理': '稍糊', '脐部': '稍凹', '触感': '硬滑', '密度': '0.666', '含糖率': '0.091'}, 
{'色泽': '青绿', '根蒂': '硬挺', '敲声': '清脆', '纹理': '清晰', '脐部': '平坦', '触感': '软粘', '密度': '0.243', '含糖率': '0.267'}, 
{'色泽': '浅白', '根蒂': '硬挺', '敲声': '清脆', '纹理': '模糊', '脐部': '平坦', '触感': '硬滑', '密度': '0.245', '含糖率': '0.057'}, 
{'色泽': '浅白', '根蒂': '蜷缩', '敲声': '浊响', '纹理': '模糊', '脐部': '平坦', '触感': '软粘', '密度': '0.343', '含糖率': '0.099'}, 
{'色泽': '青绿', '根蒂': '稍蜷', '敲声': '浊响', '纹理': '稍糊', '脐部': '凹陷', '触感': '硬滑', '密度': '0.639', '含糖率': '0.161'}, 
{'色泽': '浅白', '根蒂': '稍蜷', '敲声': '沉闷', '纹理': '稍糊', '脐部': '凹陷', '触感': '硬滑', '密度': '0.657', '含糖率': '0.198'}, 
{'色泽': '乌黑', '根蒂': '稍蜷', '敲声': '浊响', '纹理': '清晰', '脐部': '稍凹', '触感': '软粘', '密度': '0.36', '含糖率': '0.37'}, 
{'色泽': '浅白', '根蒂': '蜷缩', '敲声': '浊响', '纹理': '模糊', '脐部': '平坦', '触感': '硬滑', '密度': '0.593', '含糖率': '0.042'}, 
{'色泽': '青绿', '根蒂': '蜷缩', '敲声': '沉闷', '纹理': '稍糊', '脐部': '稍凹', '触感': '硬滑', '密度': '0.719', '含糖率': '0.103'}]
['是', '是', '是', '是', '是', '是', '是', '是', '否', '否', '否', '否', '否', '否', '否', '否', '否']


四、生成哑变量

1、predict

v = DictVectorizer(sparse=True)  # sparse=True 表示生成稀疏矩阵
dummyX = v.fit_transform(featureList).toarray()  
print("dummyX:",dummyX ) 
print(v.get_feature_names() ) 
print("labelList:"+str(labelList))  
dummyX: [[0.46  0.697 0.    1.    0.    0.    0.    1.    0.    1.    0.    1.
  0.    0.    0.    0.    1.    1.    0.   ]
 [0.376 0.774 1.    0.    0.    0.    0.    1.    0.    1.    0.    1.
  0.    0.    1.    0.    0.    1.    0.   ]
 [0.264 0.634 0.    1.    0.    0.    0.    1.    0.    1.    0.    1.
  0.    0.    1.    0.    0.    1.    0.   ]
 [0.318 0.608 1.    0.    0.    0.    0.    1.    0.    1.    0.    1.
  0.    0.    0.    0.    1.    1.    0.   ]
 [0.215 0.556 0.    1.    0.    0.    0.    1.    0.    1.    0.    1.
  0.    0.    0.    1.    0.    1.    0.   ]
 [0.237 0.403 0.    1.    0.    0.    1.    0.    0.    1.    0.    0.
  0.    1.    0.    0.    1.    0.    1.   ]
 [0.149 0.481 0.    1.    0.    0.    1.    0.    0.    0.    1.    0.
  0.    1.    1.    0.    0.    0.    1.   ]
 [0.211 0.437 0.    1.    0.    0.    1.    0.    0.    1.    0.    0.
  0.    1.    1.    0.    0.    1.    0.   ]
 [0.091 0.666 1.    0.    0.    0.    1.    0.    0.    0.    1.    0.
  0.    1.    1.    0.    0.    1.    0.   ]
 [0.267 0.243 0.    0.    1.    1.    0.    0.    0.    1.    0.    0.
  1.    0.    0.    0.    1.    0.    1.   ]
 [0.057 0.245 0.    0.    1.    1.    0.    0.    1.    0.    0.    0.
  1.    0.    0.    1.    0.    1.    0.   ]
 [0.099 0.343 0.    1.    0.    0.    0.    1.    1.    0.    0.    0.
  1.    0.    0.    1.    0.    0.    1.   ]
 [0.161 0.639 0.    1.    0.    0.    1.    0.    0.    0.    1.    1.
  0.    0.    0.    0.    1.    1.    0.   ]
 [0.198 0.657 1.    0.    0.    0.    1.    0.    0.    0.    1.    1.
  0.    0.    0.    1.    0.    1.    0.   ]
 [0.37  0.36  0.    1.    0.    0.    1.    0.    0.    1.    0.    0.
  0.    1.    1.    0.    0.    0.    1.   ]
 [0.042 0.593 0.    1.    0.    0.    0.    1.    1.    0.    0.    0.
  1.    0.    0.    1.    0.    1.    0.   ]
 [0.103 0.719 1.    0.    0.    0.    0.    1.    0.    0.    1.    0.
  0.    1.    0.    0.    1.    1.    0.   ]]
['含糖率', '密度', '敲声=沉闷', '敲声=浊响', '敲声=清脆', '根蒂=硬挺', '根蒂=稍蜷', '根蒂=蜷缩', '纹理=模糊', '纹理=清晰', '纹理=稍糊', 
'脐部=凹陷', '脐部=平坦', '脐部=稍凹', '色泽=乌黑', '色泽=浅白', '色泽=青绿', '触感=硬滑', '触感=软粘']
labelList:['是', '是', '是', '是', '是', '是', '是', '是', '否', '否', '否', '否', '否', '否', '否', '否', '否']


2、response

lb = preprocessing.LabelBinarizer()  
dummyY = lb.fit_transform(labelList)  
print("dummyY:" + str(dummyY))  

# dummyY:[[1]
# [1]
# [1]
# [1]
# [1]
# [1]
# [1]
# [1]
# [0]
# [0]
# [0]
# [0]
# [0]
# [0]
# [0]
# [0]
# [0]]


五、利用tree训练模型

clf = tree.DecisionTreeClassifier(criterion="entropy") #创建一个分类器,entropy表示用ID3,可换成gini等其他  
clf = clf.fit(dummyX, dummyY) 

#预测      
oneRowX = dummyX[0,:]  
print("oneRowX:" +str(oneRowX) ) 
  
newRowX = oneRowX  
newRowX[0] = 1  
newRowX[2] = 0  
print("newRowX:" +str(newRowX))  
  
predictedY = clf.predict([newRowX])  
print("predictedY:" + str(predictedY))
oneRowX:[1.    0.697 0.    1.    0.    0.    0.    1.    0.    1.    0.    1.
 0.    0.    0.    0.    1.    1.    0.   ]
newRowX:[1.    0.697 0.    1.    0.    0.    0.    1.    0.    1.    0.    1.
 0.    0.    0.    0.    1.    1.    0.   ]
predictedY:[1]


六、可视化

中文显示有问题,尚未解决成功。

# 先将melon的变量名全部换成英文,尽可能的让图清洗一些。
melon.rename(columns={'编号': 'num', '色泽': 'color', '根蒂': 'root', '敲声':'sound', '纹理': 'texture', '脐部': 'navel', 
'触感': 'touch', '密度': 'density', '含糖率': 'sugar', '好瓜': 'G&B'}, inplace=True)
melon.loc[melon['G&B'] == '是', 'G&B'] = 'GOOD'
melon.loc[melon['G&B'] == '否', 'G&B'] = 'BAD'
#Visulize model  
with open("C..../data/tree1.dot","w") as f:  
    f = tree.export_graphviz(clf, feature_names=v.get_feature_names(), out_file = f) 
    
dot_data = tree.export_graphviz(clf, out_file=None, 
                                feature_names=v.get_feature_names(), 
                                class_names=melon['G&B'].unique(), 
                                filled=True, rounded=True, 
                                special_characters=True)
graph = pydotplus.graph_from_dot_data(dot_data)

graph.write_pdf('.../data/tree1.pdf')  # 下图root=□□ 为变量哑变量变量名,取值为0-1




下面根据iris数据集给一个完整的可视化图例

from sklearn.datasets import load_iris
from sklearn import tree
import pydotplus

iris = load_iris()
iris.feature_names

clf = tree.DecisionTreeClassifier()
clf_iris = clf.fit(iris.data, iris.target)

with open('.../data/iris.dot', 'w') as f:
    f = tree.export_graphviz(clf_iris, out_file=f)

dot_data = tree.export_graphviz(clf, out_file=None, 
                                feature_names=iris.feature_names, 
                                class_names=iris.target_names, 
                                filled=True, rounded=True, 
                                special_characters=True)
graph = pydotplus.graph_from_dot_data(dot_data)

graph.write_pdf('.../data/iris.pdf')


参考博客:https://blog.csdn.net/gamer_gyt/article/details/51226904

                https://blog.csdn.net/u012845311/article/details/77294973




阅读更多
个人分类: 机器学习
上一篇【TIPS】更改jupyter notebook工作空间
下一篇git远程操作入门
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭