【零基础学习机器学习】决策树和随机森林

目录

一、决策树

1、认识决策树

2、信息论基础 - 银行贷款分析

3、决策树的生成

信息的度量和作用

决策树的划分依据之一 - 信息增益

常见决策树使用的算法

sklearn决策树API

​在Windows系统上安装配置Graphviz

4、泰坦尼克号乘客生存分类

泰坦尼克号乘客生存分类

案例：

决策树的优缺点、改进

二、随机森林

集成学习方法 - 随机森林

案例

随机森林的优点

总结

---

1、认识决策树

2、信息论基础 - 银行贷款分析

3、决策树的生成

4、泰坦尼克号乘客生存分类

一、决策树

1、认识决策树

2、信息论基础 - 银行贷款分析

3、决策树的生成

信息的度量和作用

问题：猜谁是冠军？ 假设有32支球队

• 如果在不知道每支球队的历史战况时

最多可以5次猜中（二分法。第一次：把32分成两半，猜其中一方。后面一次分两半猜）

32支球队，log32=5比特

每个球队获胜的概率为1/32

5= -(1/32log1/32 + 1/32log1/32 + ......+ 1/32log1/32)（第32个）

• 如果现在开放了一些球队历史战况

那么猜中的次数应该比5小，就理解为代价减少了，我们称信息熵减小了。

5 > -(1/4log1/4 + 1/8log1/8 + ......+ 1/32log1/32)

信息和消除不确定性是相联系的。信息熵越大，说明不确定性越大。

决策树的划分依据之一 - 信息增益

当得知一个特征条件之后，减少的信息熵的大小。

举例：

知道了哪个特征带来的信息增益最大，那么就能决定决策树的实际划分。

常见决策树使用的算法

基尼系数的划分更加仔细，所以sklearn默认用基尼系数

sklearn决策树API

在Windows系统上安装配置Graphviz

1、首先下载安装包graphviz-2.38.msi，下载地址为https://graphviz.gitlab.io/_pages/Download/Download_windows.html
2、双击msi文件，然后一直选择next（默认安装路径为C:\Program Files (x86)\Graphviz2.38\），安装完成之后，会在windows开始菜单创建快捷信息。
 3、配置环境变量：计算机→属性→高级系统设置→高级→环境变量→系统变量→path，在path中加入路径：C:\Program Files (x86)\Graphviz2.38\bin
4、验证：在windows命令行界面，输入dot -version，然后按回车。

基本绘图入门

打开windows下的graphviz编辑器gvedit，编写如下的dot脚本语言，保存成gv格式文本文件。然后进入命令行界面，使用dot命令，将gv文件转化为png图形文件。

dot D:\test\1.gv -Tpng -o image.png

4、泰坦尼克号乘客生存分类

数据：http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt

泰坦尼克号乘客生存分类

1、pd读取数据

2、选择有影响的特征，处理缺失值

3、进行特征工程，pd转换字典，特征抽取  x_train.to_dict(orient='records')

4、决策树估计器流程

案例：

from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris, fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier, export_graphviz
import pandas as pd


def decision():
    """
    决策树对泰坦尼克号进行预测生死
    :return: None
    """
    # TODO 获取数据
    titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")

    # TODO 处理数据，找出特征值和目标值
    x = titan[['pclass', 'age', 'sex']]
    y = titan['survived']

    # TODO 缺失值处理
    x['age'].fillna(x['age'].mean(), inplace=True)

    # TODO 分割数据集：训练集和测试集  （一般先分割数据，再转换数据）
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # print(x_train.to_dict(orient='records'))

    # 进行处理（特征工程） 当特征的值是类别型的信息时，用one-hot编码
    dict = DictVectorizer(sparse=False)  # 对象默认是sparse矩阵
    x_train = dict.fit_transform(x_train.to_dict(orient='records'))   # .to_dict(orient='records') 把一行转换成一个字典
    print(dict.get_feature_names())
    print(x_train)
    x_test = dict.transform(x_test.to_dict(orient='records'))

    # TODO　用决策树进行预测
    dec = DecisionTreeClassifier(max_depth=8)
    dec.fit(x_train, y_train)

    # TODO 预测准确率
    print("预测的准确率：", dec.score(x_test, y_test))

    # TODO 导出决策树的结构
    # dict.get_feature_names()  ['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male']
    # 可以用自定义的名字
    export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])


    return None


if __name__ == '__main__':


    decision()

决策树的优缺点、改进

二、随机森林

集成学习方法 - 随机森林

1、什么是随机森林

2、随机森林的过程、优势

3、泰坦尼克号乘客生存分类分析

集成学习方法 

集成学习方法通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和做出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。

什么是随机森林

定义：在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。

案例

from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris, fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier, export_graphviz
from sklearn.ensemble import RandomForestClassifier
import pandas as pd


def decision():
    """
    决策树对泰坦尼克号进行预测生死
    :return: None
    """
    # TODO 获取数据
    titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")

    # TODO 处理数据，找出特征值和目标值
    x = titan[['pclass', 'age', 'sex']]
    y = titan['survived']

    # TODO 缺失值处理
    x['age'].fillna(x['age'].mean(), inplace=True)

    # TODO 分割数据集：训练集和测试集  （一般先分割数据，再转换数据）
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # print(x_train.to_dict(orient='records'))

    # 进行处理（特征工程） 当特征的值是类别型的信息时，用one-hot编码
    dict = DictVectorizer(sparse=False)  # 对象默认是sparse矩阵
    x_train = dict.fit_transform(x_train.to_dict(orient='records'))   # .to_dict(orient='records') 把一行转换成一个字典
    print(dict.get_feature_names())
    print(x_train)
    x_test = dict.transform(x_test.to_dict(orient='records'))

    """
    # TODO　用决策树进行预测
    dec = DecisionTreeClassifier(max_depth=8)
    dec.fit(x_train, y_train)

    # TODO 预测准确率
    print("预测的准确率：", dec.score(x_test, y_test))

    # TODO 导出决策树的结构
    # dict.get_feature_names()  ['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male']
    # 可以用自定义的名字
    export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])
    """

    # TODO 随机森林进行预测（超参数调优）
    rf = RandomForestClassifier()
    param = {"n_estimators": [120, 200, 300, 500, 800, 1200], "max_depth": [5, 8, 15, 25, 30]}
    # 网格搜索与交叉验证
    gc = GridSearchCV(rf, param_grid=param, cv=2)
    gc.fit(x_train, y_train)
    print("准确率：", gc.score(x_test, y_test))
    print("查看选择的参数模型：", gc.best_params_)

    return None


if __name__ == '__main__':

    decision()

随机森林的优点

总结