王小草【机器学习】笔记--提升之XGBoost工具的应用

笔记整理时间：2016年12月29日
整理者：王小草
欢迎关注：
王小草的FM喜马拉雅主播频道：搜索账号名“好吧我真的叫王草”
王小草的个人微信公众号：bigdataML
王小草的CSDN博客地址：http://my.csdn.net/sinat_33761963

2016年的最后第三天，终于有阳光，连续一个月的咳嗽终于见好。
这是及其忙碌的一年，忙着适应从学校到社会的血腥，忙着在车水马龙的竞争里立足安身，忙着屈服于又抗争于的生活。
在整理“提升”算法的笔记时，我想每年的自己多像一个基函数，在梯度里不断塑造下一个更好的自己，直到实现目标函数最优才停止迭代。而生活不像函数，至少在百年之前，都不愿停止寻找更优。

---

1. XGBoost介绍

XGBoost的作者是华盛顿大学陈天奇。

XGBoost是使用梯度提升框架实现的高效，灵活，可移植的机器学习库。它的全称是eXtreme Gradient Boosting,是GDBT的一个C++实现。它将树的生成并行完成，从而提高学习速度。

一般而言，XGBoost的速度和性能优于sklearn.ensemble.GradientBoostingClassifer类。

XGBoost提供了python接口，它在机器学习的竞赛仲纷纷表现出来优异的成绩，其他学者封装了R和Julia等接口。

XGBoost的官网：
https://xgboost.readthedocs.io/en/latest/

github上代码的地址：
https://github.com/dmlc/xgboost/

2. Ubantu安装XGBoost

在各种系统上的安装官网上有详细介绍：
https://xgboost.readthedocs.io/en/latest/build.html

因为我平时学习与工作环境都是在ubantu上的，本文主要介绍ubantu系统安装XGBoost。

非常简单，就两个命令：

第一步：在github上把XGBoost工程克隆到本地计算机上，可以创建一个专门的目录，然后进入这个目录运行以下命令：

git clone --recursive https://github.com/dmlc/xgboost

根据网络的好坏，下载需要一点点时间，我大概是花了5分钟。

第二步：进入工程，然后编译。

cd xgboost
make -j4

编译的过程大概不到1分钟吧。

编译成功的画面：

注意：
我机子上有2个python版本，一个是安装anoconda中带着的python,一个是我自己下载python来单独安装的。我的系统默认的是后者，所以以上安装的XGBoost是安装在默认的python中的。

现在我打开pycharm,输入import xgboost as xgb,并没有红色波浪线的报错，表示可以成功使用了！

3.XGBoost实践

安装好了之后，我们来尝试着学习与使用这个工具。以下介绍一些从简到繁的案例。

3.1 官网get start小案例

官方文档分别给出了4中语言的小例子，这里只讲解python的。

样本数据说明：
读取的数据是工程里自带的数据，在工程目录下的/demo/data/文件夹下。打开数据文件，格式是这样的：

1 3:1 10:1 11:1 21:1 30:1 34:1 36:1 40:1 41:1 53:1 58:1 65:1 69:1 77:1 86:1 88:1 92:1 95:1 102:1 105:1 117:1 124:1
0 3:1 10:1 20:1 21:1 23:1 34:1 36:1 39:1 41:1 53:1 56:1 65:1 69:1 77:1 86:1 88:1 92:1 95:1 102:1 106:1 116:1 120:1
0 1:1 10:1 19:1 21:1 24:1 34:1 36:1 39:1 42:1 53:1 56:1 65:1 69:1 77:1 86:1 88:1 92:1 95:1 102:1 106:1 116:1 122:1
1 3:1 9:1 19:1 21:1 30:1 34:1 36:1 40:1 42:1 53:1 58:1 65:1 69:1 77:1 86:1 88:1 92:1 95:1 102:1 105:1 117:1 124:1
0 3:1 10:1 14:1 22:1 29:1 34:1 37:1 39:1 41:1 54:1 58:1 65:1 69:1 77:1 86:1 88:1 92:1 95:1 98:1 106:1 114:1 120:1

每一行是一个观测样本，第一列是label,后面的列都是特征，一个特征由特征的索引，冒号，特征值组成，列与列之间是用空格隔开的。

在某样本点中没有出现的特征索引，说明该处特征值维0，也就是说，整个数据是一个稀疏的矩阵，所以只存储不为0的数据。

数据读取说明：
直接将path传入xgb.DMtrix（）中，会将数据变成DMtrix的格式，这是一个XGBoost自己定义的数据格式（就像numpy中有ndarray, pandas中有dataframe数据格式一样）。这个格式会将第一列作为label,其余的作为features。

参数说明ÿ