GBDT系列
文章平均质量分 52
做推荐的Bella酱
这个作者很懒,什么都没留下…
展开
-
从决策树到GBDT
这一系列的文章都是各种书、论文、专栏、视频的笔记,本篇的内容主要是对周志华《机器学习》的学习笔记。Decision Tree了解树算法从决策树开始。决策树是基于树结构的决策算法,包括一个根结点,若干个内部节点和叶子结点。叶子结点对应于决策结果,其他每个节点对应于一个属性测试。决策树的生成是一个递归过程,在决策树基本算法中,有三种情形会导致递归返回:(1)当前节点包含的样本全属于...原创 2018-09-18 13:50:54 · 399 阅读 · 0 评论 -
XGBoost学习笔记
XGBoost是陈天奇等人提出的、非常流行的GBDT的变种。其代码库为https://github.com/dmlc/xgboostXGBoost的教学视频https://www.youtube.com/watch?v=ufHo8vbk6g4slides:https://www.slideshare.net/ShangxuanZhang/kaggle-winning-solution-xg...原创 2018-09-18 13:59:01 · 444 阅读 · 0 评论 -
Xgboost和lightgbm的区别
这是数据应用学院8/4 Live:数据科学家常用工具XGBoost与LightGBM大比拼,性能与结构的笔记。https://www.youtube.com/watch?v=dOwKbwQ97tI Xgboost, lightgbm, catboost实际上是对GBDT方法的不同实现,它们针对同一目标、做了不同的优化处理。XGboost作为最早出现的库,优化做得稍微少一些,但总...原创 2018-09-18 14:03:41 · 9747 阅读 · 1 评论 -
Lightgbm学习笔记
lightgbm是微软提出的框架,支持各种不同的语言,其GitHub为https://github.com/Microsoft/LightGBM它的相关技术文章LightGBM: A Highly Efficient Gradient Boosting Decision Tree发表于NIPS2017. 文章认为,GBDT运行过程中的主要代价是在学习新的决策树的过程中,选择best split ...原创 2018-09-18 15:23:26 · 249 阅读 · 0 评论 -
Catboost学习笔记
CatBoost教程来自 https://www.youtube.com/watch?v=8o0e-r0B5xQ一般来说,GB方法适用于异质化数据。即,若你的数据集全由图片数据构成或者全由视频数据构成之类的,我们称其为同质化数据,这时使用神经网络往往会有更好的表现。但对于异质化数据,比如说数据集中有user gender,user age,也有content data等等的情况,GB方法的...原创 2018-09-18 15:28:17 · 15626 阅读 · 0 评论