05. 分类算法-决策树、随机森林

1. 信息论的基础 - 香农

1.1. 信息熵

32支球队，log32=5比特
64支球队，log64=6比特

• “谁是世界杯冠军”的信息量应该比5比特少。香农指出，它的准确信息量应该是：H = -(p1logp1 + p2logp2 + ... + p32log32)

  • H的专业术语称之为信息熵，单位为比特
  • 公式：H = -(p1logp1 + p2logp2 + ... + p32log32)
  • 当这32支球队夺冠的几率相同时， 对应的信息熵等于5比特

• 信息和消除不确定性是相联系的

  • “谁是世界杯冠军”的信息量应该比5比特少

1.2. 决策树的划分依据之一信息增益

• 信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度

• 特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差

  • 公式：g(D, A) = H(D) - H(D|A)

ID 	年龄 有工作 	有自己的房子 	信货情况 	类别
1 	青年 否 		否 				-般 		否
2 	青年 否 		否 				好 			否
3 	青年 是 		否 				好 			是
4 	青年 是 		是 				-般 		是
5 	青年 否 		否 				-般 		否
6 	中年 否 		否 				-般 		否
7 	中年 否 		否 				好 			否
8 	中年 是 		是 				好 			是
9 	中年 否 		是 				非常好 		是
10 	中年 否 		是 				非常好 		是
11 	老年 否 		是 				非常好 		是
12 	老年 否 		是 				好 			是
13 	老年 是 		否 				好 			是
14 	老年 是 		否 				非常好 		是
15 	老年 否 		否 				-般 		否

• 总的经验熵H(D) = -(9/15)log(9/15)-(6/15)log(6/15) = 0.971

• 年龄的信息增益: g(D, 年龄) = H(D) - [(5/15)H(D1)+(5/15)H(D2)+(5/15)H(D3)]

  • H(D1) = -(2/5)log(2/5)-(3/5)log(3/5)
  • H(D2) = -(3/5)log(3/5)-(2/5)log(2/5)
  • H(D3) = -(4/5)log(4/5)-(1/5)log(1/5)

• 同理其他的也可以计算出来，g(D，A2)=0.324，g(D，A3)=0.420，g(D，A4)=0.363，相比较来说其中特征A3 (有自
  己的房子）的信息增益最大，所以我们选择特征A3为最有特征

1.3. ID3

• 信息增益 最大的准则

1.4. C4.5

• 信息增益比 最大的准则

1.5. CART

• 回归树: 平方误差 最小
• 分类树: 基尼系数 最小的准则 在sklearn中默认的划分原则

2. sklearn决策树API

- class sklearn.tree.DecisionTreeClassifier(criterion=’gini’,max_depth=None,random_state=None)
	- 决策树分类器
	- criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
	- max_depth:树的深度大小
	- random_state:随机数种子

	- method:
	- decision_path:返回决策树的路径

3. 泰坦尼克号乘客生存分类模型

import pandas as pd
import numpy as np
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

# 读取数据
titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
# 获取特征属性
x = titan[['pclass', 'age', 'sex']]
# 获取目标值
y = titan['survived']
# 缺失值处理
x['age'].fillna(x['age'].mean(), inplace=True)
# 分割数据集为训练集，测试集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
# 特征工程
dict = DictVectorizer(sparse=False)
x_train = dict.fit_transform(x_train.to_dict(orient='records'))
x_test = dict.transform(x_test.to_dict(orient='records'))

print(dict.get_feature_names())
# 决策树估计器流程
dec = DecisionTreeClassifier(max_depth=5)
dec.fit(x_train, y_train)

print("预测准确率：", dec.score(x_test, y_test))

4. 决策树的结构、本地保存

• sklearn.tree.export_graphviz() 该函数能够导出DOT格式

  • export_graphviz(dec, out_file="./tree.dot", feature_names=[‘年龄’, ‘一等舱’, ‘二等舱’, ‘三等舱’, ‘女性’, ‘男性’])

• 安装graphviz

  • yum -y install graphviz

• 运行命令

  • dot -Tpng tree.dot -o tree.png

• 完整代码

import pandas as pd
import numpy as np
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, export_graphviz

# 读取数据
titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
# 获取特征属性
x = titan[['pclass', 'age', 'sex']]
# 获取目标值
y = titan['survived']
# 缺失值处理
x['age'].fillna(x['age'].mean(), inplace=True)
# 分割数据集为训练集，测试集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
# 特征工程
dict = DictVectorizer(sparse=False)
x_train = dict.fit_transform(x_train.to_dict(orient='records'))
x_test = dict.transform(x_test.to_dict(orient='records'))

print(dict.get_feature_names())
# 决策树估计器流程
dec = DecisionTreeClassifier()
dec.fit(x_train, y_train)

print("预测准确率：", dec.score(x_test, y_test))

# 导出决策树的结构
export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', '一等舱', '二等舱', '三等舱', '女性', '男性'])

5. 决策树的优缺点以及改进

• 优点

  • 简单的理解和解释，树木可视化。
  • 需要很少的数据准备，其他技术通常需要数据归一化

• 缺点

  • 决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合。
  • 决策树可能不稳定，因为数据的小变化可能会导致完全不同的树被生成

• 改进

  • 减枝cart算法
  • 随机森林

6. 集成学习方法 - 随机森林

• 集成学习方法

  • 集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。

• 什么是随机森林

  • 在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。

• 随机森林的过程、优势

  • 随机森林建立多个决策树的过程

    • 随机抽样训练集
    • 有放回地抽样

  • 随机森林的优点

    • 在当前所有算法中，具有极好的准确率
    • 能够有效地运行在大数据集上(特征数多，样本数多)
    • 能够处理具有高维特征的输入样本，而且不需要降维
    • 能够评估各个特征在分类问题上的重要性
    • 对于缺省值问题也能够获得很好得结果

• 集成学习API

  • class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’,max_depth=None, bootstrap=True, random_state=None)
  • 随机森林分类器
  • n_estimators：integer，optional（default = 10） 森林里的树木数量120,200,300,500,800,1200
  • criteria：string，可选（default =“gini”）分割特征的测量方法
  • max_depth：integer或None，可选（默认=无）树的最大深度 5, 8 , 15, 25, 30
  • bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样
  • max_feature=“auto”, 每个决策树的最大特征数量

• 泰坦尼克号乘客生存分类分析（网格搜索与交叉验证）

import pandas as pd
import numpy as np
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.tree import DecisionTreeClassifier, export_graphviz
from sklearn.ensemble import RandomForestClassifier

# 读取数据
titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
# 获取特征属性
x = titan[['pclass', 'age', 'sex']]
# 获取目标值
y = titan['survived']
# 缺失值处理
x['age'].fillna(x['age'].mean(), inplace=True)
# 分割数据集为训练集，测试集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
# 特征工程
dict = DictVectorizer(sparse=False)
x_train = dict.fit_transform(x_train.to_dict(orient='records'))
x_test = dict.transform(x_test.to_dict(orient='records'))

print(dict.get_feature_names())
# 随机森林进行预测（差参数优化）
rf = RandomForestClassifier()
param = {'n_estimators':[120, 200, 300, 500, 800, 1200], 'max_depth':[5, 8, 15, 25, 30]}
gc = GridSearchCV(estimator=rf, param_grid=param, cv=2)
gc.fit(x_train, y_train)
print("准确率：", gc.score(x_test, y_test))
print("查看选择的参数模型：", gc.best_estimator_)

• 注意： titan.loc[titan.age.isna()] = titan.age.mean()