树算法
文章平均质量分 73
Star_ACE
一个缺乏创造力的程序猿
展开
-
集成学习之Bagging和Boosting的简介
一、什么是集成学习 集成学习在机器学习算法中具有较高的准确率,不足的就是模型训练比较复杂,效率不高。Boosting主要有:Adaboost、GBDT、XGBoost Bagging主要有:Random Forest集成学习的思想: 集成学习的主要思想是构建出多个弱分类器,它们共同组合对任务进行预测。核心思想就是如何训练多个弱分类以及如何将它们组合。为什么有提出集成学习呢? 假...原创 2018-09-13 15:23:43 · 484 阅读 · 0 评论 -
梯度提升树(GBDT)理解
GBDT是集成学习方法Boosting中的一种,所以其中每个弱分类器都有先后顺序,同时每个弱分类器都有其的权重。GBDT的思想 在GBDT的迭代过程中,假如前一轮迭代得到的强分类器是Fm−1(x)Fm−1(x)F_{m-1}(x),而其的损失函数为L(y,Fm−1(x))L(y,Fm−1(x))L(y,F_{m-1}(x)),这是本轮的的迭代就是找一个CART回归树模型(弱分类器)T(x;θ...原创 2018-09-14 16:21:59 · 385 阅读 · 0 评论 -
决策树之ID3
在机器学习中经常使用决策树,决策树的一个重要任务时理解数据中所蕴含的知识信息,因此决策树可以使用不熟悉的数据集合,并从中提取出一系列的规则,这些机器根据数据集创建规则的过程,就是机器学习的过程。决策树的特点:优点:计算复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以处理不相关特征数据(有特征筛选功能)缺点:可能会产生过度匹配的问题。可以通过剪枝的方式解决这个问题。适用数据类型:数...原创 2018-11-02 17:19:31 · 275 阅读 · 0 评论