python机器学习——xgboost使用

xgboost使用

首先需要安装xgboost,详见安装。

本文以“泰坦尼克号沉船事故”数据集为例，对比随机决策森林以及XGBoost 模型对泰坦尼克上的乘客是否生还的预测能力：

# 导入 pandas 用于数据分析
import pandas as pd
# 利用 pandas 的 read_csv 模块直接从互联网收集泰坦尼克号乘客数据（通过 URL 地址来下载 Titanic 数据）
titanic = pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')
# 选取 sex, age, pclass 作为训练特征
X = titanic[['pclass', 'age', 'sex']]
y = titanic['survived']
# 对缺失的 age 信息，使用平均值方法进行补全，即以 age 列已知数据的平均数填充
X['age'].fillna(X['age'].mean(), inplace=True)
# 对原始数据进行分割，随机采样 25% 的数据作为测试集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state = 33)
# 从 sklearn.feature_extraction 导入 DictVectorizer
from sklearn.feature_extraction import DictVectorizer
vec = DictVectorizer(sparse=False)
# 对原始数据进行特征向量化处理
X_train = vec.fit_transform(X_train.to_dict(orient='record'))
X_test = vec.transform(X_test.to_dict(orient='record'))
# 采用默认配置的随机森林分类器对测试集进行预测
from sklearn.ensemble import RandomForestClassifier
rfc = RandomForestClassifier()
rfc.fit(X_train, y_train)
print ( "The accuracy of Random Forest Classifier on testing set:", rfc.score(X_test, y_test))

# 采用默认配置的 XGBoost 模型对相同的测试集进行预测
from xgboost import XGBClassifier
xgbc = XGBClassifier(learning_rate=0.1)
xgbc.fit(X_train, y_train)
print ('The accuracy of eXtreme Gradient Boosting Classifier on testing set:', xgbc.score(X_test, y_test))

由上面的结果可知，随机森林模型总体在测试集上预测的准确性为 78.11% ，而 XGBoost 模型总体在测试集上预测的准确性为 79.03% 。说明 XGBoost 分类模型的确可以发挥更好的预测能力。