目录
学习目标
🍀 了解决策树算法的基本思想
🍀 了解Sklearn的决策树API
🍀 知道构建决策树的三个步骤
🍔 案例剖析
有的同学可能在大学学习过一门课程叫《数据结构》,里面有一个重要的结构就是“树”,和现实生活中的树一样,树的主要由四部分树根、树干、树枝、树叶组成,今天的决策树也是一种树结构,大家学习的时候可以想象现实生活中的树来来理解。
决策树算法是一种监督学习算法,英文是Decision tree。
决策树思想的来源非常朴素,试想每个人的大脑都有类似于if-else这样的逻辑判断,这其中的if表示的是条件,if之后的then就是一种选择或决策。程序设计中的条件分支结构就是if-then结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法。
比如:你母亲要给你介绍男朋友,是这么来对话的:
女儿:多大年纪了?
母亲:26。
女儿:长的帅不帅?
母亲:挺帅的。
女儿:收入高不?
母亲:不算很高,中等情况。
女儿:是公务员不?
母亲:是,在税务局上班呢。
女儿:那好,我去见见。
于是你在脑袋里面就有了下面这张图:
作为女孩的你在决策过程就是典型的分类树决策。相当于通过年龄、长相、收入和是否公务员对将男人分为两个类别:见和不见。
🍔 通过sklearn实现决策树分类并进一步认识决策树
基于鸢尾花数据绘制图像
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
iris = datasets.load_iris()
X = iris.data[:,2:]
y = iris.target
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.scatter(X[y==2,0],X[y==2,1])
plt.show()
训练决策树模型
from sklearn.tree import DecisionTreeClassifier
tree = DecisionTreeClassifier(max_depth=2,criterion="entropy")
tree.fit(X,y)
依据模型绘制决策树的决策边界
#找到模型的决策边界,并绘制图像(此方法所用到的api不需要掌握,能够调用就行)
def plot_decision_boundary(model,axis):
x0,x1 = np.meshgrid(
np.linspace(axis[0],axis[1],int((axis[1]-axis[0])*100)).reshape(-1,1),
np.linspace(axis[2],axis[3],int((axis[3]-axis[2])*100)).reshape(-1,1)
)
X_new = np.c_[x0.ravel(),x1.ravel()]
y_predict = model.predict(X_new)
zz = y_predict.reshape(x0.shape)
from matplotlib.colors import ListedColormap
custom_map = ListedColormap(["#EF9A9A","#FFF59D","#90CAF9"])
plt.contourf(x0,x1,zz,linewidth=5,cmap=custom_map)
plot_decision_boundary(tree,axis=[0.5,7.5,0,3])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.scatter(X[y==2,0],X[y==2,1])
plt.show()
树模型可视化
from sklearn.tree import plot_tree
import matplotlib.pyplot as plt
plot_tree(tree,filled=True)
plt.show()
从上面的可视化图形中看出
X[1] <=0.8 作为第一次分割的依据,满足条件的所有样本均为统一类别
X[1]>0.8的,依据 X[1]<=0.75 为划分依据
由于设置了树的最大深度为2,第二层的两个叶子节点没有完全区分开
🍔 基于规则构建决策树
在商业的数据挖掘中,不同的消费行为顾客特征的提炼和表述极为重要。
我们模拟了部分顾客及其消费行为数据,包括如下特征:
用户是否购买某种产品(0购买,1不购买)
年龄(青年0,中年1,老年2)
收入(高0,中1,低2)
学生(是1,否0)
信誉(良0,优1)。
我们收集了如表1-1的部分用户购买数据,建立了一张统一的调查表,统计几个月的销售数据。我们要对下表中潜在的客户进行分析,并根据得到的一些特征用于销售人员制定销售策略等工作。
总结为两个问题:
(1) 如何对客户进行分类?
(2) 如何根据分类的依据,给出销售人员的指导意见?
通过上述分析,即可解决问题:
(1)如何对客户进行分类?
答:根据数据集中收集的用户的特征信息
(2)如何根据分类依据,给出销售指导意见呢?
答:给出这样的销售意见:
中年人通常会无条件购买
青年人中如果是学生一般会购买
老年人中信誉好的常常会购买
下面我们思考,如何得到这样的分析结果信息?我们可以通过基于规则建树实现。
从定性的角度画出决策树:
从定量的角度画出决策树:
为什么需要从定量角度来分析呢?
答:这样会更精确的分析用户的特征信息,给出销售人员更准确的数据信息。
根据该树可以解决问题:
(1)如何对客户进行分类?
答:根据数据集中收集的用户的特征信息
(2)如何根据分类依据,给出销售指导意见呢?
答:给出这样的销售意见:
中年人通常会无条件购买
青年人中如果是学生一般会购买
老年人中信誉好的常常会购买
-
以上就是基于规则建树,接下来我们总结构建决策树三要素。
-
同时思考,上述建树过程有哪些地方可以优化?
接下来总结出构建决策树三要素
🍔 构建决策树的三个步骤
🐼 通过上述总结分析,归纳总结构建决策树包括三个步骤:
特征选择:选取有较强分类能力的特征
决策树生成
决策树剪枝
🍔 小结
🍬 决策树算法:
是非参数学习算法
可以解决分类(多分类)问题
可以解决回归问题:落在叶子节点的数据的平均值作为回归的结果
🍬 决策树API:
from sklearn.tree import DecisionTreeClassifier
from sklearn.tree import plot_tree
🍬 构建决策树的三个步骤:
特征选择:选取有较强分类能力的特征
决策树生成
决策树剪枝