机器学习算法（二）: 基于XGBoost的分类预测学习笔记

本学习笔记为阿里云天池龙珠计划Docker训练营的学习内容，学习链接为-天池实验室-实时在线的数据分析协作工具，享受免费计算资源

一、XGBoost简介
XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严格意义上讲XGBoost并不是一种模型，而是一个可供用户轻松解决分类、回归或排序问题的软件包。

1、XGBoost优缺点：

XGBoost的主要优点：

简单易用。相对其他机器学习库，用户可以轻松使用XGBoost并获得相当不错的效果。
高效可扩展。在处理大规模数据集时速度快效果好，对内存等硬件资源要求不高。
鲁棒性强。相对于深度学习模型不需要精细调参便能取得接近的效果。
XGBoost内部实现提升树模型，可以自动处理缺失值。

XGBoost的主要缺点：
相对于深度学习模型无法对时空位置建模，不能很好地捕获图像、语音、文本等高维数据。在拥有海量训练数据，并能找到合适的深度学习模型时，深度学习的精度可以遥遥领先XGBoost。
2、应用：
XGBoost被成功应用在工业界与学术界的各种问题中。例如商店销售额预测、高能物理事件分类、web文本分类;用户行为预测、运动检测、广告点击率预测、恶意软件分类、灾害风险预测、在线课程退学率预测。虽然领域相关的数据分析和特性工程在这些解决方案中也发挥了重要作用，但学习者与实践者对XGBoost的一致选择表明了这一软件包的影响力与重要性。

二、代码部分
1、代码流程：
Part1 基于天气数据集的XGBoost分类实践

Step1: 库函数导入
Step2: 数据读取/载入
Step3: 数据信息简单查看
Step4: 可视化描述
Step5: 对离散变量进行编码
Step6: 利用 XGBoost 进行训练与预测
Step7: 利用 XGBoost 进行特征选择
Step8: 通过调整参数获得更好的效果

注：前面四部分和逻辑回归基本基本一样，这里不再赘述。

第5步需要对离散变量进行编码的原因是：由于XGBoost无法处理字符串类型的数据，我们需要一些方法讲字符串数据转化为数据。
简单来说就是把一类相同的字符串处理成数字。
解决办法：一种最简单的方法是把所有的相同类别的特征编码成同一个值，例如女=0，男=1，狗狗=2，所以最后编码的特征值是在【0、特征数量-1】之间的整数。除此之外，还有独热编码、求和编码、留一法编码等等方法可以获得更好的效果。
代码:

## 把所有的相同类别的特征编码为同一个值
def get_mapfunction(x):
    mapp = dict(zip(x.unique().tolist(),
         range(len(x.unique().tolist()))))
    def mapfunction(y):
        if y in mapp:
            return mapp[y]
        else:
            return -1
    return mapfunction
for i in category_features:
    data[i] = data[i].apply(get_mapfunction(data[i]))
1
2
3
4
5
6
7
8
9
10
11
12
## 编码后的字符串特征变成了数字