catboost

CatBoost = Category + Boosting 
2017年7月21日,俄罗斯Yandex开源CatBoost,亮点是在模型中可直接使用Categorical特征并减少了tuning的参数。

建树的过程:

1.初步计算splits 
对每个数值特征二值化,选择可能的分桶方式,结果用于选择树结构。binarization method (feature_border_type) 和number of buckets (border_count) 参数设置在初始参数中。
2.将categorical特征转化为numerical特征 
(也可以使用one-hot编码) 
有以下三步: 
(1). 随机重排输入对象; 
(2). 将target从浮点数转换为整数 (Regression/ Classification/ Multiclassification不同); 
(3). 将categorical特征转化为numerical特征 (与初始参数有关): 

3.选择树结构 
        贪婪算法,找出所有可能分割方式,计算每种方式的惩罚函数,选择最小的,将结果分配个叶节点。后续叶节点重复此过程。在构建新树前进行随机重排,按梯度下降方向构建新树。

过拟合检测

1.IncToDec 
在建每棵树之前,在测试集上检测损失的变化,如果CurrentPValue大于初始参数Thresold则认为过拟合。计算CurrentPValue的方法如下: 

2.Iter 
在建每棵树之前,检查最小损失时的迭代次数,大于设置的参数值则认为过拟合。

参考资料

http://learningsys.org/nips17/assets/papers/paper_11.pdf

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值