Python机器学习入门1.8《使用集成模型预测泰坦尼克号乘客的生还情况预测》

# -*- coding: utf-8 -*-
"""
Created on Fri Oct 19 08:11:26 2018

@author: asus
"""

import pandas as pd
titanic=pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')

#人工选取pclass age sex 作为判断乘客是否生还的特征
X=titanic[['pclass','age','sex']]
y=titanic['survived']

#用平均年龄代替缺失的信息
X.fillna(X['age'].mean(),inplace=True)

#数据分割，25%用于测试数据
from sklearn.cross_validation import train_test_split
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.25,random_state=33)

#类别型特征转化为特征向量(特征提取)
from sklearn.feature_extraction import DictVectorizer
vec=DictVectorizer(sparse=False)
X_train=vec.fit_transform(X_train.to_dict(orient='record'))
X_test=vec.transform(X_test.to_dict(orient='record'))

#使用单一决策树进行模型训练以及预测分析
from sklearn.tree import DecisionTreeClassifier
dtc=DecisionTreeClassifier()
dtc.fit(X_train,y_train)
dtc_y_pred=dtc.predict(X_test)

#使用随机深林分类器进行集成模型的训练以及预测分析
from sklearn.ensemble import RandomForestClassifier
rfc=RandomForestClassifier()
rfc.fit(X_train,y_train)
rfc_y_pred=rfc.predict(X_test)

#使用梯度提升决策树进行集成模型训练以及预测分析
from sklearn.ensemble import GradientBoostingClassifier
gbc=GradientBoostingClassifier()
gbc.fit(X_train,y_train)
gbc_y_pred=gbc.predict(X_test)

#集成模型的预测性能分析
from sklearn.metrics import classification_report

#输出单一决策树在测试集上的分类准确性，以及更加详细的精确率、召回率、F1指标
print('The accuracy of decision tree is',dtc.score(X_test,y_test))
print(classification_report(y_test,dtc_y_pred))

#输出随机深林分类器在测试集上的分类准确性，以及更加详细的精确率、召回率、F1指标
print('The accuracy of random forest classifier is',rfc.score(X_test,y_test))
print(classification_report(y_test,rfc_y_pred))

#输出梯度提升决策树在测试集上的分类准确性，以及更加详细的精确率、召回率、F1指标
print('The accuracy of gradient boosting classifier is',gbc.score(X_test,y_test))
print(classification_report(y_test,gbc_y_pred))