数据集解释:
• Passengerld :乘客ID ,这是个顺序编号, 唯一地标识 乘客。这个特征和幸存与否无关,我们不使用这个特征
• Survived : 表示幸存者表示遇难。这个是我们的标注数据。
• Pclass :仓位等级,是很重要的特征。看过电影读者都知道,高仓位等级的乘客更快地到达甲板,从而更容易获救。
• Name :乘客名字,这个特征和幸存与否无关,我们会丢弃这个特征。
• Sex :乘客性别, 过电影的读者都知道,由于救生艇数量不够,船民让妇女和儿童先上救生艇。所 以这也是个很重要的特征
• Age :乘客性别,儿童会优先上救生艇,身强力壮者幸存概率也会高
• SibSp 兄弟姐妹同在船上的数量。
• Parch :同船的父辈人员数量。
• Ticket: 乘客票号。我们不使用这个特征。
• Fare :乘客的体热指标
• Cabin :乘客的船舱号 。实 际上这个特征和幸存与否有 定的关系,比如最早
被水淹没的船舱位置,其乘客的幸存概率要低 但由于这个特征有大 的丢失
数据,而且没有更多的数据来对船舱进行归类,因此我们丢弃这个特征的数据。
• Embarked :乘客登船的港口。我们需要把港口数据转换为数值型数据。
我们需要加载 csv 数据,并做 些预处理,包括:
·提取 Survived 列的数据作为模型的标注数据。
·丢弃不需要的特征数据。
·对数据进行转换,以便模型处理。比如性别数据,我们需要转换为0/1
·处理缺失数据。比如年龄这个特征,有很多缺失的数据。
1、加载、处理数据
import pandas as pd
#train=pd.read_csv(r'C:\Users\EDZ\PycharmProjects\titanic\train.csv')
test=pd.read_csv(r'C:\Users\EDZ\PycharmProjects\titanic\test.csv')
def read_dataset(fname):
data=pd.read_csv(fname,index_col=0)#第一列作为索引
data.drop(['Name','Ticket','Cabin'],axis=1,inplace=True)
#astype能够将一个pandas对象转换为某种类型,astype可以将文本类转换为数字,用这
#个方式可以很便捷地将二分类特征转换为0~1
data['Sex']=(data['Sex']=='male').astype('int')
#将多个唯一值文本转为数值类型
labels=data['Embarked'].unique().tolist()
data['Embarked']=data['Embarked'].apply(lambda x:labels.index(x))
data=data.fillna(0)
return data
train=read_dataset(r'C:\Users\EDZ\PycharmProjects\titanic\train.csv')
2、训练模型
#模型训练
from sklearn.model_selection import train_test_split
y=train['Survived'].values#values:将Dataframe转为矩阵
X=train.drop(['Survived'],axis=1).values
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2)
print('train dataset:{0},test dataset:{1}'.format(X_train.shape,X_test.shape))
#用决策树进行数据拟合
from sklearn.tree import DecisionTreeClassifier
clf=DecisionTreeClassifier()
clf.fit(X_train,y_train)
train_score=clf.score(X_train,y_train)
test_score=clf.score(X_test,y_test)
print('train score:{0},test score:{1}'.format(train_score,test_score))
查看评分发现:训练样本评分高,但交叉验证集评分低,是过拟合的特征,通过剪枝解决过拟合,但是sklearn不支持后剪枝,只能用前剪枝
3、优化模型参数
3.1 手动考察参数max_depth
#1、考察参数max_depth参数解决过拟合问题
def cv_score(d):
clf=DecisionTreeClassifier(max_depth=d)
clf.fit(X_train,y_train)
tr_score=clf.score(X_train,y_train)
cv_score=clf.score(X_test,y_test)
return (tr_score,cv_score)
#构造参数范围,并分别计算模型得分,找出评分最高的模型对应的参数
depths=range(2,15)
scores=[cv_score(d) for d in depths]
tr_scores=[s[0] for s in scores]
cv_scores=[s[1] for s in scores]
import numpy as np
#找出交叉验证集评分最高的索引
best_score_index=np.argmax(cv_scores)
#为什么要取出索引?因为可以根据得分的索引,找到对应的树的深度
best_score=cv_scores[best_score_index]
best_param=depths[best_score_index]
print('best_param:{0},best_score:{1}'.format(best_param,best_score))
#画出树的深度和模型得分的关系图
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']#显示中文
plt.figure(figsize=(6,4),dpi=144)
plt.grid()
plt.xlabel('树深度')
plt.ylabel('得分')
plt.plot(depths,cv_scores,'.g-',label='训练集评分')
plt.plot(depths,tr_scores,'.r--',label='交叉验证集评分')
plt.legend()
3.2 手动考察参数min_impurity_split
#1、考察参数min_impurity_split信息增益阈值参数解决过拟合问题
def cv_score(val):
clf=DecisionTreeClassifier(criterion='gini',min_impurity_decrease=val)#criterion='entropy'
clf.fit(X_train,y_train)
tr_score=clf.score(X_train,y_train)
cv_score=clf.score(X_test,y_test)
return (tr_score,cv_score)
#构造参数范围,并分别计算模型得分,找出评分最高的模型对应的参数
values=np.linspace(0,0.5,50)#[O, 0.5 之间 50 等分,
scores=[cv_score(v) for v in values]
tr_scores=[s[0] for s in scores]
cv_scores=[s[1] for s in scores]
import numpy as np
#找出交叉验证集评分最高的索引
best_score_index=np.argmax(cv_scores)
#为什么要取出索引?因为可以根据得分的索引,找到对应的树的深度
best_score=cv_scores[best_score_index]
best_param=values[best_score_index]
print('best_param:{0},best_score:{1}'.format(best_param,best_score))
#画出阈值和模型得分的关系图
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']#显示中文
plt.figure(figsize=(6,4),dpi=144)
plt.grid()
plt.xlabel('阈值')
plt.ylabel('得分')
plt.plot(values,cv_scores,'.g-',label='训练集评分')
plt.plot(values,tr_scores,'.r--',label='交叉验证集评分')
plt.legend()
3.3、网格搜索自动找到最优参数
单组参数:
#模型参数选择的工具包
from sklearn.model_selection import GridSearchCV#格点搜索
thresholds=np.linspace(0,0.5,50)
#设置参数矩阵
param_grid={'min_impurity_split':thresholds}
#param_grid ,它是一个字典,字典关键字所对应的值是一个列表。
gsc=GridSearchCV(DecisionTreeClassifier(),param_grid=param_grid,cv=5,return_train_score=True)
#param_grid:GridSearchCV 会枚举列表里的所有值来构建模型,多次计算训练模型,并计算模型评分,
#最终得出指定参数值的平均评分及标准差。
#CV :它用来指定交叉验证数据集的生成规则,cv=5 表示每次计算都把数据集分成5份,
#拿其中一份作为交叉验证数据集,其他的作为训练数据集。
#return_train_score=True:默认为False,表示cv_results_的字典不包含train_score,为True,就包含
gsc.fit(X,y) #用原始数据集
print('best param:{0},best score:{1}'.format(gsc.best_params_,gsc.best_score_))
#best_params_:最优参数 best_score_:最优评分 cv_results_:保存计算过程的所有中间结果
import matplotlib.pyplot as plt
def plot_curve(train_sizes, cv_results, xlabel):
train_scores_mean = cv_results['mean_train_score']
train_scores_std = cv_results['std_train_score']
test_scores_mean = cv_results['mean_test_score']
test_scores_std = cv_results['std_test_score']
plt.figure(figsize=(10, 6), dpi=144)
plt.title('parameters turning')
plt.grid()
plt.xlabel(xlabel)
plt.ylabel('score')
plt.fill_between(train_sizes,
train_scores_mean - train_scores_std,
train_scores_mean + train_scores_std,
alpha=0.1, color="r")
plt.fill_between(train_sizes,
test_scores_mean - test_scores_std,
test_scores_mean + test_scores_std,
alpha=0.1, color="g")
plt.plot(train_sizes, train_scores_mean, '.--', color="r",
label="Training score")
plt.plot(train_sizes, test_scores_mean, '.-', color="g",
label="Cross-validation score")
plt.legend(loc="best")
plot_curve(thresholds,gsc.cv_results_,xlabel='gini thresholds')
#plt.fill_between(x, 0, y, facecolor='green', alpha=0.3)
#x:第一个参数表示覆盖的区域,我直接复制为x,表示整个x都覆盖
#0:表示覆盖的下限
#y:表示覆盖的上限是y这个曲线
#facecolor:覆盖区域的颜色
#alpha:覆盖区域的透明度[0,1],其值越大,表示越不透明
查看cv_results_字典的键值:
多组参数:
from sklearn.model_selection import GridSearchCV
entropy_thresholds=np.linspace(0,1,50)#信息熵的阈值
gini_thresholds=np.linspace(0,0.5,50)#基尼不纯度的阈值
#设置参数矩阵
param_grid=[{'criterion':['entropy'],'min_impurity_split':entropy_thresholds},
{'criterion':['gini'],'min_impurity_split':gini_thresholds},
{'max_depth':range(2,10)},
{'min_samples_split':range(2,30,2)}]#range(start, stop[, step])
clf=GridSearchCV(DecisionTreeClassifier(),param_grid=param_grid,cv=5)
clf.fit(X,y)
print('best param:{0},best score:{1}'.format(gsc.best_params_,gsc.best_score_))
min_impurity_split:指定信息增益的阀值
min_samples_split:指定能创建分支的数据集的样本大小
4、生成决策树图
#生成决策树图形
from sklearn.tree import export_graphviz
clf=DecisionTreeClassifier(criterion='entropy', min_impurity_split=0.530612)
clf.fit(X_train,y_train)
with open('titanic.dot','w') as f:
f=export_graphviz(clf,out_file=f)
安装配置Graphviz
1、双击msi文件,然后一直选择next(默认安装路径为C:\Program Files (x86)\Graphviz2.38\),安装完成之后,会在windows开始菜单创建快捷信息。
2、配置环境变量:计算机→属性→高级系统设置→高级→环境变量→系统变量→path,在path中加入路径:C:\Program Files (x86)\Graphviz2.38\bin
3、验证:在windows命令行界面,输入dot -version,然后按回车,如果显示如下图所示的graphviz相关版本信息,则安装配置成功。