![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
树模型
文章平均质量分 59
xbmatrix
这个作者很懒,什么都没留下…
展开
-
ExtraTrees原理
原文:http://blog.csdn.net/zhaocj/article/details/51648966ET或Extra-Trees(Extremely randomized trees,极端随机树)是由PierreGeurts等人于2006年提出。该算法与随机森林算法十分相似,都是由许多决策树构成。但该算法与随机森林有两点主要的区别:1、随机森林应用的是Bagging模型,而ET是转载 2017-04-06 23:56:09 · 29458 阅读 · 0 评论 -
提升方法AdaBoost算法学习笔记
参考:http://blog.csdn.net/sb19931201/article/details/52425487提升方法AdaBoost算法学习笔记前言For xgboost:为了好好学习xgboost,由于算法基础比较薄弱,曲线救国,从提升方法、提升树、GBDT一步步看起。手头有李航老师的《统计学习方法》以及周志华老师的西瓜书。对比来看,感觉李航转载 2017-02-27 21:38:00 · 615 阅读 · 0 评论 -
信息、信息熵、条件熵、信息增益、信息增益比、基尼系数、相对熵、交叉熵
原文:http://www.cnblogs.com/fantasy01/p/4581803.html?utm_source=tuicool关于对信息、熵、信息增益是信息论里的概念,是对数据处理的量化,这几个概念主要是在决策树里用到的概念,因为在利用特征来分类的时候会对特征选取顺序的选择,这几个概念比较抽象,我也花了好长时间去理解(自己认为的理解),废话不多说,接下来开始对这几个概念解释原创 2017-02-23 23:29:32 · 15005 阅读 · 0 评论 -
决策树和基于决策树的集成方法(DT,RF,GBDT,XGB)复习总结
参考:http://www.cnblogs.com/arachis/p/DTreeFamily.html摘要: 1.算法概述 2.算法推导 3.算法特性及优缺点 4.注意事项 5.实现和具体例子内容:1.算法概述 1.1 决策树(DT)是一种基本的分类和回归方法。在分类问题中它可以认为是if-then规则的集合转载 2017-03-05 09:17:36 · 3350 阅读 · 0 评论 -
集成模型的五个基础问题
参考:http://www.csdn.net/article/1970-01-01/2825965引言如果你曾经参加过数据科学竞赛,你一定意识到集成模型(Ensemble Modeling)举足轻重的作用。事实上,集成模型提供了最有说服力的方式之一,来建立高度精确的预测模型。Bagging和Boosting算法进一步加强了这一方法的精确性。所以,你下次构建预测模型的转载 2017-02-27 23:19:55 · 655 阅读 · 0 评论 -
GBDT(MART) 迭代决策树入门教程 | 简介
参考:http://blog.csdn.net/w28971023/article/details/8240756在网上看到一篇对从代码层面理解gbdt比较好的文章,转载记录一下: GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是转载 2017-02-27 21:42:35 · 192 阅读 · 0 评论 -
决策树--从原理到实现
参考:http://blog.csdn.net/dark_scope/article/details/13168827================================================================================算算有相当一段时间没写blog了,主要是这学期作业比较多,而且我也没怎么学新的东西接下来打算实现一个小的t转载 2017-02-27 21:34:15 · 322 阅读 · 0 评论 -
GBDT理解二三事
参考:http://blog.csdn.net/w28971023/article/details/43704775一、要理解GBDT当然要从GB(Gradient Boosting)和DT(Decision Tree)两个角度来理解了;二、GB其实是一种理念,他并不是这一个具体的算法,意思是说沿着梯度方向,构造一系列的弱分类器函数,并以一定权重组合起来,形成最终决策的强分类器转载 2017-02-27 22:20:46 · 204 阅读 · 0 评论 -
提升树GBDT 详解
参考:http://blog.csdn.net/sb19931201/article/details/52506157参考资料及博客:李航《统计学习方法》 Gradient Boosting wiki GBDT理解二三事 GBDT(MART) 迭代决策树入门教程 | 简介前言For Xgboost:在前几篇笔记中以及详细介绍了决策树及提升方法转载 2017-02-27 22:58:59 · 788 阅读 · 0 评论 -
随机森林(Random Forest)入门与实战
参考:http://blog.csdn.net/sb19931201/article/details/52601058随机森林(Random Forest)入门与实战前言集成学习(ensemble learning)是通过构建并结合多个学习器来完成学习任务,主要包含两类,一是个体学习器间存在强依赖关系、必须串行生成的序列化方法,比如前几篇博文介绍提升学习方法、提升树转载 2017-02-27 23:17:21 · 965 阅读 · 0 评论 -
XGBoost 与 Boosted Tree
参考:http://www.52cs.org/?p=429作者:陈天奇,毕业于上海交通大学ACM班,现就读于华盛顿大学,从事大规模机器学习研究。注解:truth4sex 编者按:本文是对开源xgboost库理论层面的介绍,在陈天奇原文《梯度提升法和Boosted Tree》的基础上,做了如下注解:1)章节划分;2)注解和参考链接(以蓝色和红色字体标注)。备注:图片可点击转载 2017-02-27 23:01:27 · 633 阅读 · 0 评论 -
XGBoost推导过程
XGBoost推导过程转载 2017-03-04 00:35:03 · 2481 阅读 · 0 评论 -
从gbdt到xgboost
参考:http://www.cnblogs.com/mfryf/p/5946815.htmlgbdt(又称Gradient Boosted Decision Tree/Grdient Boosted Regression Tree),是一种迭代的决策树算法,该算法由多个决策树组成。它最早见于yahoo,后被广泛应用在搜索排序、点击率预估上。 xgboost是陈天奇大牛转载 2017-03-05 10:30:23 · 890 阅读 · 0 评论 -
大杀器xgboost指南
参考:http://blog.csdn.net/bryan__/article/details/52056112目录(?)[-]一xgboost的优点二xgboost的参数 转自httpblogcsdnnetwzmsltwarticledetails50994481General ParametersBooster ParametersParameter转载 2017-03-05 11:04:43 · 1350 阅读 · 0 评论 -
xgboost相比传统gbdt有何不同?xgboost为什么快?xgboost如何支持并行?
链接:https://www.zhihu.com/question/41354392/answer/98658997传统GBDT以CART作为基分类器,xgboost还支持线性分类器,这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶转载 2017-03-23 22:08:34 · 10387 阅读 · 1 评论 -
XGBOOST参数调优
参考:http://www.cnblogs.com/zhangbojiangfeng/p/6428988.html1. 简介 如果你的预测模型表现得有些不尽如人意,那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法,可以处理各种不规则的数据。 构造一个使用XGBoost的模型十分简单。但是,提高这个模型的表现就转载 2017-04-04 18:36:02 · 1536 阅读 · 0 评论 -
stacking简介
参考:http://www.cnblogs.com/zhizhan/p/5051881.htmlstacked 产生方法是一种截然不同的组合多个模型的方法,它讲的是组合学习器的概念,但是使用的相对于bagging和boosting较少,它不像bagging和boosting,而是组合不同的模型,具体的过程如下:1.划分训练数据集为两个不相交的集合。2. 在第一个集合上训练多个学习器。转载 2017-04-07 00:27:06 · 1769 阅读 · 0 评论 -
RF、gbdt、xgboost参数
RandomForestrf_params = { 'n_jobs': 16, 'n_estimators': 100, 'max_features': 0.2, 'max_depth': 12, 'min_samples_leaf': 2,}gbdtxgboostxgb_params = { 'seed': 0,原创 2017-04-04 23:52:53 · 489 阅读 · 0 评论