2.1.1.6 集成模型（分类）

import pandas as pd
titanic=pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')

---

#数据预处理
#特征选择
X=titanic[['pclass','age','sex']]
y=titanic['survived']

---

#查看特征统计信息，发现age列只有633个，需要补充完整
#sex，pclass 两个数据列都是类别型变量，需要转化为数值型

#使用平均数填充age列的na
X['age'].fillna(X['age'].mean(),inplace=True)
X.info()

---

#数据分割
from sklearn.cross_validation import train_test_split
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.25,random_state=33)

---

#类别变量转化为数值型,转换特征后发现，凡是类别型变量的特征都单独
#剥离出来，独成一列特征
from sklearn.feature_extraction import DictVectorizer
vec=DictVectorizer(sparse=False)
X_train=vec.fit_transform(X_train.to_dict(orient='record'))
print(vec.feature_names_)

---

#对测试数据的特征进行转换
X_test=vec.fit_transform(X_test.to_dict(orient='record'))

---

#决策树分类，预测
from sklearn.tree import DecisionTreeClassifier
dtc=DecisionTreeClassifier()
dtc.fit(X_train,y_train)
dtc_y_pred=dtc.predict(X_test)

---

#使用随机森林分类器
from sklearn.ensemble import RandomForestClassifier
rfc=RandomForestClassifier()
rfc.fit(X_train,y_train)
rfc_y_pred=rfc.predict(X_test)

---

#使用梯度提升决策树
from sklearn.ensemble import GradientBoostingClassifier
gbc=GradientBoostingClassifier()
gbc.fit(X_train,y_train)
gbc_y_pred=gbc.predict(X_test)

---

#评价分类器的预测性能
from sklearn.metrics import classification_report

---

#决策树分类的预测性能
print(dtc.score(X_test,y_test))
print(classification_report(y_test,dtc_y_pred))

#随机森林分类的预测性能
print(rfc.score(X_test,y_test))
print(classification_report(y_test,rfc_y_pred))

#梯度提升决策树分类的预测性能
print(gbc.score(X_test,y_test))
print(classification_report(y_test,gbc_y_pred))

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---