决策树案例以及决策树可视化

一、案例背景

泰坦尼克号沉没是历史上最臭名昭著的沉船之一。1912年4月15日，在她的处女航中，泰坦尼克号在与冰山相撞后沉没，在2224名乘客和机组人员中造成1502人死亡。在这个案例中，我们要求完成对哪些人可能存活的分析。特别是，我们要求运用机器学习工具来预测哪些乘客幸免于悲剧。

我们提取到的数据集中的特征包括票的类别，是否存活，乘坐班次，年龄，登录home.dest，房间，船和性别等。

经过观察数据得到：

• 乘坐班是指乘客班（1，2，3），是社会经济阶层的代表。
• 其中age数据缺失。

二、步骤分析

• 导入库

  import pandas as pd
  import numpy as np
  from sklearn.model_selection import train_test_split
  from sklearn.feature_extraction import DictVectorizer
  from sklearn.tree import DecisionTreeClassifier
  

1. 获取数据

   # 1.获取数据
   titan = pd.read_csv("https://hbiostat.org/data/repo/titanic.txt")
   

2. 数据基本处理

   • 确定特征值，目标值

     # 2.数据基本处理
     # 2.1确定特征值，目标值
     x = titan[["pclass","age","sex"]]
     y = titan["survived"]
     

   • 缺失值处理

     # 2.2缺失值处理
     x["age"].fillna(value=titan["age"].mean(),inplace= True)
     

   • 数据集划分

     # 2.3数据集划分
     x_train, x_test, y_train, y_test = train_test_split(x,y,test_size=0.2,random_state=22)
     

3. 特征工程（字典特征提取）

   # 3.特征工程--字典类型提取
   x_train = x_train.to_dict(orient="records")
   x_test = x_test.to_dict(orient="records")
   transfer = DictVectorizer(sparse=False)
   x_train = transfer.fit_transform(x_train)
   x_test = transfer.transform(x_test)
   

4. 机器学习（决策树）

   # 4.机器学习（决策树）
   estimator = DecisionTreeClassifier()
   estimator.fit(x_train,y_train)
   

5. 模型评估

   # 5.模型评估
   y_pre = estimator.predict(x_test)
   print("预测结果是：\n",y_pre)
   score = estimator.score(x_test,y_test)
   print("预测准确率为：\n",score)
   

全部代码

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier

# 1.获取数据
titan = pd.read_csv("https://hbiostat.org/data/repo/titanic.txt")

# 2.数据基本处理
# 2.1确定特征值，目标值
x = titan[["pclass","age","sex"]]
y = titan["survived"]

# 2.2缺失值处理
x["age"].fillna(value=titan["age"].mean(),inplace= True)

# 2.3数据集划分
x_train, x_test, y_train, y_test = train_test_split(x,y,test_size=0.2,random_state=22)

# 3.特征工程--字典类型提取
x_train = x_train.to_dict(orient="records")
x_test = x_test.to_dict(orient="records")
transfer = DictVectorizer(sparse=False)
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)

# 4.机器学习（决策树）
estimator = DecisionTreeClassifier()
estimator.fit(x_train,y_train)

# 5.模型评估
y_pre = estimator.predict(x_test)
print("预测结果是：\n",y_pre)
score = estimator.score(x_test,y_test)
print("预测准确率为：\n",score)

三、决策树可视化

1.保存树的结构到dot文件

• sklearn.tree.export_graphviz()：该函数能够导出DOT文件

  • tree.export_graphviz(estimator,out_file=“保存文件的地址”,feature_names=[“”,“”])

  export_graphviz(estimator,out_file="../data/tree.dot",feature_names=["age","pclass=1st","pclass=2nd","pclass=3rd","女性","男性"])
  

• dot文件的内容如下

  

2.显示决策树结构（通过Graphviz软件）

• 下载Graphviz工具

• 配置环境变量

• 打开命令提示符，cd进入到存放.dot文件的路径

• 通过以下命令生成决策树图片

  dot -Tpng 文件名.dot -o 生成图片的文件名.png
  

• 该案例的决策树结构如下所示：