Catboost学习笔记

CatBoost 教程来自 www.youtube.com/watch?v=8o0…

一般来说，GB方法适用于异质化数据。即，若你的数据集全由图片数据构成或者全由视频数据构成之类的，我们称其为同质化数据，这时使用神经网络往往会有更好的表现。但对于异质化数据，比如说数据集中有user gender，user age，也有content data等等的情况，GB方法的表现往往更好。GB方法比神经网络的入门门槛更低，使用起来也更简单。

NN和GB方法可以结合起来使用，并常常有很好的表现。我们可以使用NN方法学习embedding feature，并且和其他一些特征结合起来，再过GBDT。

Catboost具有一些和其他类似的库不同的特征。 第一，Catboost使用对称树。XGboost一层一层地建立节点，lightGBM一个一个地建立节点，而Catboost总是使用完全二叉树。它的节点是镜像的。Catboost称对称树有利于避免overfit，增加可靠性，并且能大大加速预测等等。

其次，它用特殊的方式处理categorical features。首先他们会计算一些数据的statistics。计算某个category出现的频率，加上超参数，生成新的numerical features。这一策略要求同一标签数据不能排列在一起（即先全是0之后全是1这种方式），训练之前需要打乱数据集。第二，使用数据的不同排列（实际上是4个）。在每一轮建立树之前，先扔一轮骰子，决定使用哪个排列来生成树。第三，考虑使用categorical features的不同组合。例如颜色和种类组合起来，可以构成类似于blue dog这样的feature。当需要组合的categorical features变多时，catboost只考虑一部分combinations。在选择第一个节点时，只考虑选择一个feature，例如A。在生成第二个节点时，考虑A和任意一个categorical feature的组合，选择其中最好的。就这样使用贪心算法生成combinations。第四，除非向gender这种维数很小的情况，不建议自己生成one-hot vectors，最好交给算法来处理。

第三，catboost和其他算法计算leaf-value的方法不同。传统的boosting使用平均数：

但这个估计是有偏的，会导致过拟合。（？）而Catboost则采用另外的计算方法。