机器学习
xcy冲冲冲
这个作者很懒,什么都没留下…
展开
-
关于xgboost的一些理解
xgboost将梯度提升树方法带到了一个极致,在很多比赛上都是首选的算法,本文总结一下自己对xgboost的一些理解。关于xgboost在算法上的优化这里就不再介绍,网上有很多好的文章,百度一下就可以找到。 精确贪心算法 在单机版本下xgboost支持精确贪心算法,树学习方法最重要的点就是选择最优的分割点,精确贪心算法就是将每个特征按特征值预排序,然后枚举所有特征上所有可能的分割,计算增益,然后选择增益最大的值作为分割点,由于这里需要遍历每个特征值,因此计算开销在数据量很大时非常大。也是建树过程中最耗时的地原创 2020-09-14 23:47:11 · 1039 阅读 · 0 评论 -
关于随机森林的一些理解
目录随机森林简介优缺点优点缺点sklearn中随机森林参数简单实现 随机森林简介 随机森林是一种只关注决策树的集成学习方法,由Leo Breiman和 Adele Cutler提出,它将bagging和随机选择特征结合起来,在树的集成产生之后,对分类问题使用投票的方法来产生预测结果,对回归问题使用算数平均的方法来生成结果。 优缺点 优点 由于弱学习器之间没有关联,可以并行进行训练,训练速度快 由于随机选择特征,可以避免大数据中的维度灾难 由于bagging和随机选择特征模型泛化能力强 训练后,可以给出特征原创 2020-09-13 13:16:43 · 819 阅读 · 0 评论