数据特征工程 | Python实现CatBoost特征处理及选择

数据特征工程 | Python实现CatBoost特征处理及选择

基本介绍

CatBoost（categorical boosting）是一种能够很好地处理类别型特征的梯度提升算法库。本文中，我们对 CatBoost 基本原理及应用实例做个详细介绍。后面小猴子还将针对其中几个重要特性做专门介绍，如 CatBoost 对类别型特征处理、特征选择、文本特征处理、超参数调整以及多标签目标处理，看完记得点个赞支持下！

模型原理

要理解 boosting，我们首先理解集成学习，为了获得更好的预测性能，集成学习结合多个模型（弱学习器）的预测结果。它的策略就是大力出奇迹，因为弱学习器的有效组合可以生成更准确和更鲁棒的模型。集成学习方法分为三大类：

• Bagging：该技术使用随机数据子集并行构建不同的模型，并聚合所有预测变量的预测结果。
• Boosting：这种技术是可迭代的、顺序进行的和自适应的，因为每个预测器都是针对上一个模型的错误进行修正。
  Stacking：这是一种元学习技术，涉及结合来自多种机器学习算法的预测，例如 bagging 和 boosting。
• CatBoost（categorical boosting）是 Yandex 开源的机器学习算法。它可以与深度学习框架轻松集成。它可以处理多种数据类型，以帮助解决企业今天面临的各种问题。CatBoost 和 XGBoost、LightGBM 并称为 GBDT 的三大主流神器，都是在 GBDT 算