决策树之泰坦尼克号生存分类

决策树算法介绍

以对世界杯球队冠军预测为例，若有32只队伍，如果采用二分法进行预测，最多需要5次才可以得出冠军队伍

32支球队，log32=5比特
64支球队，log64=6比特

信息熵

“谁是世界杯冠军”的信息量应该比5比特少。香农指出，它的准确信息量应该是：

H = -(p1logp1 + p2logp2 + ... + p32log32)

H的专业术语称之为信息熵，单位为比特。
公式：

当这32支球队夺冠的几率相同时，对应的信息熵等于5比特

决策树的划分依据之一-信息增益

特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为

注：信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度，即信息增益越大，信息的不确定性越小，而信息熵是度量信息混乱程度的，即信息熵越大，信息的不确定性越大。

信息增益的计算

以银行贷款数据为例：

获取数据

数据：http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt

将数据复制并保存在txt文本中即可使用！

完整代码

import pandas as pd
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.tree import DecisionTreeClassifier

def decision():
    '''
    决策树对泰坦尼克号预测生死
    :return: 
    '''
    #读取数据
    data = pd.read_csv("./泰坦尼克号.txt")

    #处理数据，找出特征值和目标值
    x = data[['pclass','age','sex']]
    y = data['survived']

    #缺失值处理
    x['age'].fillna(x['age'].mean(),inplace=True)

    #对数据进行训练集和测试集拆分
    x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25)


    #进行处理（特征工程）类别-》One-hot编码
    dic = DictVectorizer(sparse=False)
    x_train = dic.fit_transform(x_train.to_dict(orient='records'))
    x_test = dic.transform(x_test.to_dict(orient='records'))

    #用决策树进行预测
    dec = DecisionTreeClassifier()
    #网格搜索交叉验证
    param = {"max_depth":[5,8,10,15]}
    gc = GridSearchCV(estimator=dec,param_grid=param,cv = 10)

    gc.fit(x_train,y_train)

    print("准确率:", gc.score(x_test, y_test))
    print("在交叉验证中最好的结果:", gc.best_score_)
    print("在交叉验证中最好的模型:", gc.best_estimator_)
    print("每个超参数每次交叉验证的结果:", gc.cv_results_)
    # dec.fit(x_train,y_train)
    #
    # print("准确率:",dec.score(x_test,y_test))

    return None


if __name__ == "__main__":
    decision()

预测结果

经过网格搜索可知，当max_depth = 5时，此时预测的准确率更高

 

随机森林预测

定义：在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。

根据下列算法而建造每棵树：
用N来表示训练用例（样本）的个数，M表示特征数目。
输入特征数目m，用于确定决策树上一个节点的决策结果；其中m应远小于M。
从N个训练用例（样本）中以有放回抽样的方式，取样N次，形成一个训练集（即bootstrap取样），并用未抽到的用例（样本）作预测，评估其误差。

随机森林的优点：

• 在当前所有算法中，具有极好的准确率
• 能够有效地运行在大数据集上
• 能够处理具有高维特征的输入样本，而且不需要降维
• 能够评估各个特征在分类问题上的重要性
• 对于缺省值问题也能够获得很好得结果

完整代码：

import pandas as pd
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier

def decision():
    '''
    决策树对泰坦尼克号预测生死
    :return: 
    '''
    #读取数据
    data = pd.read_csv("./泰坦尼克号.txt")

    #处理数据，找出特征值和目标值
    x = data[['pclass','age','sex']]
    y = data['survived']

    #缺失值处理
    x['age'].fillna(x['age'].mean(),inplace=True)

    #对数据进行训练集和测试集拆分
    x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25)


    #进行处理（特征工程）类别-》One-hot编码
    dic = DictVectorizer(sparse=False)
    x_train = dic.fit_transform(x_train.to_dict(orient='records'))
    x_test = dic.transform(x_test.to_dict(orient='records'))

    #用决策树进行预测
    # dec = DecisionTreeClassifier()
    # #网格搜索交叉验证
    # param = {"max_depth":[5,8,10,15]}
    # gc = GridSearchCV(estimator=dec,param_grid=param,cv = 10)
    #
    # gc.fit(x_train,y_train)
    #
    # print("准确率:", gc.score(x_test, y_test))
    # print("在交叉验证中最好的结果:", gc.best_score_)
    # print("在交叉验证中最好的模型:", gc.best_estimator_)
    # print("每个超参数每次交叉验证的结果:", gc.cv_results_)
    # # dec.fit(x_train,y_train)
    # #
    # # print("准确率:",dec.score(x_test,y_test))

    #使用随机森林进行预测（超参数调优）
    rc = RandomForestClassifier()

    #使用网格搜索和交叉验证
    param = {"n_estimators": [120, 200, 300, 500, 800, 1200], "max_depth": [5, 8, 15, 25, 30]}
    gc = GridSearchCV(rc,param_grid=param,cv = 10)

    #使用训练集的数据训练模型
    gc.fit(x_train,y_train)

    print("准确率为:",gc.score(x_test,y_test))
    print("查看选择的参数模型:",gc.best_params_)

    return None


if __name__ == "__main__":
    decision()

预测结果：