决策树——预测泰坦尼克号幸存者

数据集解释：

• Passengerld ：乘客ID ，这是个顺序编号， 唯一地标识 乘客。这个特征和幸存与否无关，我们不使用这个特征
• Survived : 表示幸存者表示遇难。这个是我们的标注数据。
• Pclass ：仓位等级，是很重要的特征。看过电影读者都知道，高仓位等级的乘客更快地到达甲板，从而更容易获救。
• Name ：乘客名字，这个特征和幸存与否无关，我们会丢弃这个特征。
• Sex ：乘客性别， 过电影的读者都知道，由于救生艇数量不够，船民让妇女和儿童先上救生艇。所 以这也是个很重要的特征
• Age ：乘客性别，儿童会优先上救生艇，身强力壮者幸存概率也会高
• SibSp 兄弟姐妹同在船上的数量。
• Parch ：同船的父辈人员数量。
• Ticket: 乘客票号。我们不使用这个特征。
• Fare ：乘客的体热指标
• Cabin ：乘客的船舱号 。实 际上这个特征和幸存与否有 定的关系，比如最早
被水淹没的船舱位置，其乘客的幸存概率要低 但由于这个特征有大 的丢失
数据，而且没有更多的数据来对船舱进行归类，因此我们丢弃这个特征的数据。
• Embarked ：乘客登船的港口。我们需要把港口数据转换为数值型数据。
我们需要加载 csv 数据，并做 些预处理，包括：
·提取 Survived 列的数据作为模型的标注数据。
·丢弃不需要的特征数据。
·对数据进行转换，以便模型处理。比如性别数据，我们需要转换为0/1
·处理缺失数据。比如年龄这个特征，有很多缺失的数据。

1、加载、处理数据 

import pandas as pd
#train=pd.read_csv(r'C:\Users\EDZ\PycharmProjects\titanic\train.csv')
test=pd.read_csv(r'C:\Users\EDZ\PycharmProjects\titanic\test.csv')

def read_dataset(fname):
    data=pd.read_csv(fname,index_col=0)#第一列作为索引
    data.drop(['Name','Ticket','Cabin'],axis=1,inplace=True)
    #astype能够将一个pandas对象转换为某种类型，astype可以将文本类转换为数字，用这
    #个方式可以很便捷地将二分类特征转换为0~1
    data['Sex']=(data['Sex']=='male').astype('int')
    #将多个唯一值文本转为数值类型
    labels=data['Embarked'].unique().tolist()
    data['Embarked']=data['Embarked'].apply(lambda x:labels.index(x))
    data=data.fillna(0)
    return data
train=read_dataset(r'C:\Users\EDZ\PycharmProjects\titanic\train.csv')

 2、训练模型

#模型训练
from sklearn.model_selection import train_test_split
y=train['Survived'].values#values:将Dataframe转为矩阵
X=train.drop(['Survived'],axis=1).values

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2)
print('train dataset:{0},test dataset:{1}'.format(X_train.shape,X_test.shape))

#用决策树进行数据拟合
from sklearn.tree import DecisionTreeClassifier
clf=DecisionTreeClassifier()
clf.fit(X_train,y_train)
train_score=clf.score(X_train,y_train)
test_score=clf.score(X_test,y_test)
print('train score:{0},test score:{1}'.format(train_score,test_score))

 查看评分发现：训练样本评分高，但交叉验证集评分低，是过拟合的特征，通过剪枝解决过拟合，但是sklearn不支持后剪枝，只能用前剪枝

3、优化模型参数

3.1 手动考察参数max_depth

#1、考察参数max_depth参数解决过拟合问题
def cv_score(d):
    clf=DecisionTreeClassifier(max_depth=d)
    clf.fit(X_train,y_train)
    tr_score=clf.score(X_train,y_train)
    cv_score=clf.score(X_test,y_test)
    return (tr_score,cv_score)
#构造参数范围，并分别计算模型得分，找出评分最高的模型对应的参数
depths=range(2,15)
scores=[cv_score(d) for d in depths]
tr_scores=[s[0] for s in scores]
cv_scores=[s[1] for s in scores]

import numpy as np
#找出交叉验证集评分最高的索引
best_score_index=np.argmax(cv_scores)
#为什么要取出索引？因为可以根据得分的索引，找到对应的树的深度
best_score=cv_scores[best_score_index]
best_param=depths[best_score_index]
print('best_param:{0},best_score:{1}'.format(best_param,best_score))

#画出树的深度和模型得分的关系图
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']#显示中文

plt.figure(figsize=(6,4),dpi=144)
plt.grid()
plt.xlabel('树深度')
plt.ylabel('得分')
plt.plot(depths,cv_scores,'.g-',label='训练集评分')
plt.plot(depths,tr_scores,'.r--',label='交叉验证集评分')
plt.legend()

 

 3.2 手动考察参数min_impurity_split

#1、考察参数min_impurity_split信息增益阈值参数解决过拟合问题
def cv_score(val):
    clf=DecisionTreeClassifier(criterion='gini',min_impurity_decrease=val)#criterion='entropy'
    clf.fit(X_train,y_train)
    tr_score=clf.score(X_train,y_train)
    cv_score=clf.score(X_test,y_test)
    return (tr_score,cv_score)
#构造参数范围，并分别计算模型得分，找出评分最高的模型对应的参数
values=np.linspace(0,0.5,50)#［O, 0.5 之间 50 等分，
scores=[cv_score(v) for v in values]
tr_scores=[s[0] for s in scores]
cv_scores=[s[1] for s in scores]

import numpy as np
#找出交叉验证集评分最高的索引
best_score_index=np.argmax(cv_scores)
#为什么要取出索引？因为可以根据得分的索引，找到对应的树的深度
best_score=cv_scores[best_score_index]
best_param=values[best_score_index]
print('best_param:{0},best_score:{1}'.format(best_param,best_score))

#画出阈值和模型得分的关系图
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']#显示中文

plt.figure(figsize=(6,4),dpi=144)
plt.grid()
plt.xlabel('阈值')
plt.ylabel('得分')
plt.plot(values,cv_scores,'.g-',label='训练集评分')
plt.plot(values,tr_scores,'.r--',label='交叉验证集评分')
plt.legend()

3.3、网格搜索自动找到最优参数

单组参数：

#模型参数选择的工具包
from sklearn.model_selection import GridSearchCV#格点搜索
thresholds=np.linspace(0,0.5,50)
#设置参数矩阵
param_grid={'min_impurity_split':thresholds}
#param_grid ，它是一个字典，字典关键字所对应的值是一个列表。

gsc=GridSearchCV(DecisionTreeClassifier(),param_grid=param_grid,cv=5,return_train_score=True)

#param_grid：GridSearchCV 会枚举列表里的所有值来构建模型，多次计算训练模型，并计算模型评分，
#最终得出指定参数值的平均评分及标准差。
#CV ：它用来指定交叉验证数据集的生成规则，cv=5 表示每次计算都把数据集分成5份，
#拿其中一份作为交叉验证数据集，其他的作为训练数据集。
#return_train_score=True:默认为False，表示cv_results_的字典不包含train_score，为True，就包含

gsc.fit(X,y) #用原始数据集
print('best param:{0},best score:{1}'.format(gsc.best_params_,gsc.best_score_))
#best_params_：最优参数  best_score_：最优评分  cv_results_：保存计算过程的所有中间结果

 

import matplotlib.pyplot as plt
def plot_curve(train_sizes, cv_results, xlabel):
    train_scores_mean = cv_results['mean_train_score']
    train_scores_std = cv_results['std_train_score']
    test_scores_mean = cv_results['mean_test_score']
    test_scores_std = cv_results['std_test_score']
    plt.figure(figsize=(10, 6), dpi=144)
    plt.title('parameters turning')
    plt.grid()
    plt.xlabel(xlabel)
    plt.ylabel('score')
    plt.fill_between(train_sizes, 
                     train_scores_mean - train_scores_std,
                     train_scores_mean + train_scores_std, 
                     alpha=0.1, color="r")
    plt.fill_between(train_sizes, 
                     test_scores_mean - test_scores_std,
                     test_scores_mean + test_scores_std, 
                     alpha=0.1, color="g")
    plt.plot(train_sizes, train_scores_mean, '.--', color="r",
             label="Training score")
    plt.plot(train_sizes, test_scores_mean, '.-', color="g",
             label="Cross-validation score") 
    plt.legend(loc="best")

plot_curve(thresholds,gsc.cv_results_,xlabel='gini thresholds')
    #plt.fill_between(x, 0, y, facecolor='green', alpha=0.3)
    #x：第一个参数表示覆盖的区域，我直接复制为x，表示整个x都覆盖
    #0：表示覆盖的下限
    #y：表示覆盖的上限是y这个曲线
    #facecolor：覆盖区域的颜色
    #alpha：覆盖区域的透明度[0,1],其值越大，表示越不透明

 查看cv_results_字典的键值：

多组参数：

from sklearn.model_selection import GridSearchCV
entropy_thresholds=np.linspace(0,1,50)#信息熵的阈值
gini_thresholds=np.linspace(0,0.5,50)#基尼不纯度的阈值

#设置参数矩阵
param_grid=[{'criterion':['entropy'],'min_impurity_split':entropy_thresholds},
           {'criterion':['gini'],'min_impurity_split':gini_thresholds},
           {'max_depth':range(2,10)},
           {'min_samples_split':range(2,30,2)}]#range(start, stop[, step])

clf=GridSearchCV(DecisionTreeClassifier(),param_grid=param_grid,cv=5)
clf.fit(X,y)
print('best param:{0},best score:{1}'.format(gsc.best_params_,gsc.best_score_))

min_impurity_split：指定信息增益的阀值
min_samples_split：指定能创建分支的数据集的样本大小

4、生成决策树图

#生成决策树图形
from sklearn.tree import export_graphviz
clf=DecisionTreeClassifier(criterion='entropy', min_impurity_split=0.530612)
clf.fit(X_train,y_train)

with open('titanic.dot','w') as f:
    f=export_graphviz(clf,out_file=f)

安装配置Graphviz

1、双击msi文件，然后一直选择next（默认安装路径为C:\Program Files (x86)\Graphviz2.38\），安装完成之后，会在windows开始菜单创建快捷信息。
2、配置环境变量：计算机→属性→高级系统设置→高级→环境变量→系统变量→path，在path中加入路径：C:\Program Files (x86)\Graphviz2.38\bin
3、验证：在windows命令行界面，输入dot -version，然后按回车，如果显示如下图所示的graphviz相关版本信息，则安装配置成功。