8. 机器学习——分类算法-决策树、随机森林（笔记案例）

1、 决策树

1.1 认识决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。

例子：

你如何去划分是否能得到贷款？

决策树的实际划分

1.2 信息的度量和作用

猜谁是冠军？假设有32支球队

每猜一次给一块钱，告诉我是否猜对了，那么我需要掏多少钱才能知道谁是冠军？我可以把球编上号，从1到32，然后提问：冠 军在1-16号吗？依次询问，只需要五次，就可以知道结果。

32支球队，log32=5比特
64支球队，log64=6比特

1.3 信息熵

为什么，“谁是世界杯冠军”的信息量应该比5比特少呢

因为，但我们对32只球队知道的信息很少的时候，我们认为每一支球队都有可能得到冠军，而且得到冠军的概率是相同的。但其实但我们知道一些历史数据后，就知道哪些球队得到冠军的概率大，哪些比较小。

信息和消除不确定性是相联系的

1.4 决策树的划分依据之一-信息增益

信息增益的计算（不用记，记住怎么算就可以）

例子

首先，计算总的信息熵：
H(D) = -(9/15log9/15 + 6/15log(6/15)) =0.971 两种类别“是”或者“不是”是的概率9/15,不是的概率6/15

以计算年龄的信息增益来举例：
g(D, 年龄) = H(D) - H(D’|年龄) =0.971- [1/3H(青年)+1/3H(中年)+1/3H(老年)]

要计算年龄，年龄下面有三种类别：青年、中年、老年。青年的概率5/15 = 1/3，中年的概率5/15 = 1/3，
老年的概率5/15 = 1/3。

然后继续计算青年和中年以及老年的信息熵，

H(⻘年) = -(2/5log(2/5)+ 3/5log(3/5))
H(中年) = -(2/5log(2/5)+ 3/5log(3/5))
H(⽼年) = -(4/5log(4/5)+ 1/5log(1/5))

同理，“是”的概率在青年中 2/5，“不是”的概率3/5。其他年龄的信息熵也是这样算。

1.5 常见决策树使用的算法

1.6 sklearn决策树API

1.7 决策树案例——泰坦尼克号数据

流程：

1、pd读取数据
2、选择有影响的特征，处理缺失值
3、进行特征工程，pd转换字典，特征抽取x_train.to_dict(orient=“records”)
4、决策树估计器流程

代码：

import pandas as pd
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier,export_graphviz

# 获取数据
titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")

#处理数据，找到特征值和目标值
x = titan[['pclass','age','sex']]
y = titan['survived']
print('未进行缺失值处理:',x)

#缺失值处理
x['age'].fillna(x['age'].mean(),inplace=True) #inplace表示是否用缺失值代替

#分割数据
x_train, x_test, y_train, y_test = train_test_split(x,y,test_size=0.25)

#进行处理（特征工程） 将字符进行one_hot编码
dic = DictVectorizer(sparse=False)

x_train = dic.fit_transform(x_train.to_dict(orient='records'))
x_test = dic.transform(x_test.to_dict(orient='records'))

print('获取特征的名称')
print(dic.get_feature_names())
# print(x_train)
#用决策树预测
dec = DecisionTreeClassifier(max_depth=5)

dec.fit(x_train,y_train)
#预测正确率
print('预测准确率：',dec.score(x_test,y_test))

#导出决策树的结构
export_graphviz(dec,out_file="./tree.dot",feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=女性', 'sex=男性'])

结果：

决策树的结构、本地保存

1.8 决策树的优缺点以及改进

2、集成学习方法-随机森林

2.1 集成学习方法

集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。

2.2 什么是随机森林

定义：在机器学习中， 随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。

2.3 随机森林API

代码：

from sklearn.ensemble import RandomForestClassifier
import pandas as pd
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split,GridSearchCV

# 获取数据
titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")

#处理数据，找到特征值和目标值
x = titan[['pclass','age','sex']]
y = titan['survived']
print('未进行缺失值处理:',x)

#缺失值处理
x['age'].fillna(x['age'].mean(),inplace=True) #inplace表示是否用缺失值代替

#分割数据
x_train, x_test, y_train, y_test = train_test_split(x,y,test_size=0.25)

#进行处理（特征工程） 将字符进行one_hot编码
dic = DictVectorizer(sparse=False)

x_train = dic.fit_transform(x_train.to_dict(orient='records'))
x_test = dic.transform(x_test.to_dict(orient='records'))

print('获取特征的名称')
print(dic.get_feature_names())
# print(x_train)
#用随机森林
rf = RandomForestClassifier()

parm = {'n_estimators':[120,200,300,500,800,1200],'max_depth':[5,8,15,25,30]}

#网格搜索与交叉验证
gc = GridSearchCV(rf,param_grid=parm,cv=2)

gc.fit(x_train,y_train)

print('准确率：',gc.score(x_test,y_test))

print('查看选择的参数模型：',gc.best_params_)

结果：

2.4 随机森林的优点