决策树
文章平均质量分 82
lanyuelvyun
互金公司风控算法工程师
展开
-
决策树系列(三):CART(分类回归树)-详细原理解析
CART,分类回归树,是几乎所有复杂决策树算法的基础。下面简单介绍其算法原理。原创 2019-03-21 17:34:21 · 15612 阅读 · 13 评论 -
决策树系列(四):集成学习+boosting算法+提升树+GBDT(梯度提升决策树)_详细原理解析
1 GBDT简介GBDT,英文全称是Gradient Boosting Decision Tree,梯度提升决策树,顾名思义,与梯度、boosting算法、决策树有关。是一种迭代的决策树算法,由多棵决策树组成,每一颗决策树也叫做基学习器,GBDT最后的结果就是将所有基学习器的结果相加。2 boosting算法GBDT既然跟boosting算法有关,就先来讲讲boosting算法。如果不想看,...原创 2019-03-22 17:06:53 · 4872 阅读 · 2 评论 -
决策树系列(二):随机森林(random forest)
随机森林,属于集成算法bagging的一种,关于什么是bagging看这里决策树(1)集成学习 (ensemble learning)–boosting与bagging的区别1、简单原理以及特点1)随机森林,属于集成算法bagging的一种,由多个基分类器组合而成,最终的预测结果是多个基分类器结果的平均值(回归问题)/众数(分类问题)。 2)各个基分类器之间相互独立,使用的基分类器是...原创 2018-07-26 17:39:15 · 1685 阅读 · 0 评论 -
决策树系列(一):集成学习(ensemble learning)->boosting与bagging的区别
参考文献 GBDT回归树过程详解 https://blog.csdn.net/zhangbaoanhadoop/article/details/79904916 机器学习中的算法(1)-决策树模型组合之随机森林与GBDT https://www.cnblogs.com/LeftNotEasy/archive/2011/03/07/random-forest-and-gbdt.html...原创 2018-07-24 17:53:24 · 1505 阅读 · 0 评论 -
机器学习算法经验
1、特征值归一化背景:好多算法都是基于参数的,并且涉及到了梯度下降优化方法 目的:为了让所有的特征的值,具有相同的量纲原因:拿LR举例,属于基于参数的算法,用到了梯度下降算法。在计算梯度的时候,如果特征值不进行归一化处理,那么在同一个学习率的情况下,拥有较小特征值的特征就学习的不好(因为此时的学习率对于该特征值来说大了,不合适),为了避免这种情况,学习率就要设置的非常小,学习率小,这就会...原创 2018-08-28 10:41:27 · 923 阅读 · 0 评论