机器学习算法基础 DAY 5 决策树、随机森林

分类算法-决策树、随机森林

1. 认识决策树

2. 信息论基础-银行贷款分析

3. 决策树的生成

4. 泰坦尼克号乘客生存分类

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。

如：

信息的度量和作用

假设有32支球队，猜谁

“谁是世界杯冠军”的信息量应该比5比特少。香农指出，它的准确信息量应该是：

H = -(p1logp1 + p2logp2 + … + p32log32)

式中log以2为底

信息熵

H的专业术语称之为信息熵，单位为比特。

• 32支球队，log32=5比特

• 64支球队，log64=6比特

当这32支球队夺冠的几率相同时，对应的信息熵等于5比特。

信息和消除不确定性是相联系

决策树的划分依据之一-信息增益

特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：

注：信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度

信息增益的计算

信息熵的计算：

条件熵的计算：

结合前面的贷款数据来看：

常见决策树使用的算法

• ID3
  信息增益最大的准则；

• C4.5
  信息增益比最大的准则；

• CART
  回归树: 平方误差最小；
  分类树: 基尼系数最小的准则，划分更加仔细，在sklearn中可以选择划分的默认原则

sklearn决策树API

class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)

决策树分类器

criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’

max_depth:树的深度大小

random_state:随机数种子

method:
decision_path:返回决策树的路径

案例：泰坦尼克号数据分析

在泰坦尼克号和titanic2数据帧描述泰坦尼克号上的个别乘客的生存状态。在泰坦尼克号的数据帧不包含从剧组信息，但它确实包含了乘客的一半的实际年龄。关于泰坦尼克号旅客的数据的主要来源是百科全书Titanica。这里使用的数据集是由各种研究人员开始的。其中包括许多研究人员创建的旅客名单，由Michael A. Findlay编辑。
我们提取的数据集中的特征是票的类别，存活，乘坐班，年龄，登陆，home.dest，房间，票，船和性别。乘坐班是指乘客班（1，2，3），是社会经济阶层的代表。
其中age数据存在缺失。

部分数据：

泰坦尼克号乘客生存分类模型

1. pd读取数据

2. 选择有影响的特征，处理缺失值

3. 进行特征工程，pd转换字典，特征抽取
   x_train.to_dict(orient=“records”)

4. 决策树估计器流程

决策树的结构、本地保存

1、sklearn.tree.export_graphviz() 该函数能够导出DOT格式
tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])

2、工具:(能够将dot文件转换为pdf、png)
安装graphviz
ubuntu:sudo apt-get install graphviz Mac:brew install graphviz

3、运行命令
然后我们运行这个命令
$ dot -Tpng tree.dot -o tree.png

程序：

from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier, export_graphviz
import pandas as pd

def decision():
    """
    决策树对泰坦尼克号进行预测生死
    :return: None
    """
    # 获取数据
    titan = pd.read_csv("./titanic.txt")

    # 处理数据，找出特征值和目标值
    x = titan[['pclass', 'age', 'sex'