数据竞赛技巧|数据挖掘(三):模型选型

为了提高数据爱好者们的对数据竞赛的了解，吸引更多小伙伴加入到数据竞赛中来，我们为大家准备了数据挖掘、自然语言处理、计算机视觉三大类型赛事的竞赛技巧分享系列内容。“数据挖掘”类竞赛技巧分享将从领域介绍、数据预处理、模型选题、常用trick介绍4个方面入手，向大家分享参赛技巧。期待大家能够学有所得，早日运用到竞赛中并夺得大奖哦~

竞赛练习场：http://www.datafountain.cn

1.xgboost

XGBoost是经过优化的分布式梯度提升库，旨在高效、灵活且可移植。XGBoost是大规模并行boosting tree的工具，它是目前最快最好的开源 boosting tree工具包，比常见的工具包快10倍以上。

在数据科学方面，有大量的Kaggle选手选用XGBoost进行数据挖掘比赛，是各大数据科学比赛的必杀武器；在工业界大规模数据方面，XGBoost的分布式版本有广泛的可移植性，支持在Kubernetes、Hadoop、SGE、MPI、 Dask等各个分布式环境上运行，使得它可以很好地解决工业界大规模数据的问题。

2.LightGBM

GBDT 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。

GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。而LightGBM（Light Gradient Boosting Machine）是一个实现GBDT算法的框架，支持高效率的并行训练，并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。

—待续—