Chapter 5 分类算法——决策树与随机森林

决策树

认识决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。
信息熵：单位为比特。

信息和消除不确定性是相联系的：信息熵越大，消除不确定性就越大。

决策树的划分及案例

决策树的划分依据：

• ID3 信息增益最大的准则
  特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为
  
  注：信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。信息增益最大的特征，可以将其选择为最有特征。
• C4.5：信息增益比最大的准则
• CART ：
  回归树: 平方误差最小
  分类树: 基尼系数 最小的准则在sklearn中可以选择划分的原则

sklearn决策树API

class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)决策树分类器
criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
max_depth:树的深度大小
random_state:随机数种子

method:
decision_path:返回决策树的路径

from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier,export_graphviz
def decision():
    '''
    决策树对泰坦尼克号进行生死预测
    :return: None
    '''
    #读取数据
    titan=pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')

    #处理数据，找出特征值和目标值
    x=titan[['pclass','name','age','sex']]
    y=titan['survived']

    # 缺失值处理：填补缺失值
    x['age'].fillna(x['age'].mean(),inplace=True)

    # 分割数据集到训练集测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    #进行处理，特征工程，特征——>类别——>one_hot编码
    dict=DictVectorizer(sparse=False)

    x_train=dict.fit_transform(x_train.to_dict(orient='records'))
    print(dict.get_feature_names)
    x_test = dict.fit_transform(x_test.to_dict(orient='records'))
    print(x_train)
    #用决策树进行预测
    dec=DecisionTreeClassifier(max_depth=10)
    dec.fit(x_train,y_train)
    #预测准确率
    dec.score('预测的准确率为：',x_test,y_test)
    #导出决策树的结构
    export_graphviz(dec,out_file='./tree.dot',feature_names=['年龄','pclass=1st','pclass=2nd','女性','男性','姓名'])
    return None

if __name__=='__main__':
    decision()

决策树的结构、本地保存

1、sklearn.tree.export_graphviz() 该函数能够导出DOT格式
tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])

2、工具:(能够将dot文件转换为pdf、png)
安装graphviz
ubuntu:sudo apt-get install graphviz

3、运行命令
然后我们运行这个命令
$ dot -Tpng tree.dot -o tree.png或者$ dot -Tpdf tree.dot -o tree.pdf

决策树的优缺点以及改进

优点：
简单的理解和解释，树木可视化。
需要很少的数据准备，其他技术通常需要数据归一化，

缺点：
决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合。
决策树可能不稳定，因为数据的小变化可能会导致完全不同的树被生成

改进：减枝cart算法 / 随机森林

随机森林的原理及案例调优

什么是随机森林

• 集成学习方法：集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。
• 随机森林：在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。

随机森林API

class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’,
max_depth=None, bootstrap=True, random_state=None)随机森林分类器
n_estimators：integer，optional（default = 10）森林里的树木数量，一般为120，200，300，500，800，1200。
criteria：string，可选（default =“gini”）分割特征的测量方法
max_depth：integer或None，可选（默认=无）树的最大深度，一般为5，8，15，25，30。
bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样

from sklearn.ensemble import RandomForestClassifier
def decision():
    '''
    决策树对泰坦尼克号进行生死预测
    :return: None
    '''
    #读取数据
  	titan=pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')

    #处理数据，找出特征值和目标值
    x=titan[['pclass','name','age','sex']]
    y=titan['survived']

    # 缺失值处理：填补缺失值
    x['age'].fillna(x['age'].mean(),inplace=True)

    # 分割数据集到训练集测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    #进行处理，特征工程，特征——>类别——>one_hot编码
    dict=DictVectorizer(sparse=False)

    x_train=dict.fit_transform(x_train.to_dict(orient='records'))
    print(dict.get_feature_names())
    x_test = dict.fit_transform(x_test.to_dict(orient='records'))
    print(x_train)

    #随机森林进行预测（超参数调优）
    rf=RandomForestClassifier()
    param={'n_estimators':[120,200,300,500,800,1200],'max_depth':[5,8,15,25,30]}
    #网格搜索与交叉验证
    gc=GridSearchCV(rf,param_grid=param,cv=2)
    gc.fit(x_train,y_train)
    print('预测准确率为：',gc.score(x_test,y_test))
    print('查看选择的模型：',gc.best_params_)
    return None

if __name__=='__main__':
    decision()

随机森林的优点

在当前所有算法中，具有极好的准确率；
能够有效地运行在大数据集上；
能够处理具有高维特征的输入样本，而且不需要降维；
能够评估各个特征在分类问题上的重要性；
对于缺省值问题也能够获得很好得结果。