集成学习
心静菩提现
这个作者很懒,什么都没留下…
展开
-
随机森林算法梳理
文章目录集成学习的概念个体学习器的概念boosting和bagging结合策略(平均法,投票法,学习法)随机森林思想随机森林的推广优缺点sklearn参数应用场景 集成学习的概念 集成学习通过构建并结合多个学习器来完成学习任务。即先产生一组个体学习器,再用某种策略将它们结合起来。集成学习通过将多个学习器进行结合,常可获得比单一学习器显著优越的泛化性能。 根据个体学习器的生成方式,目前集成学习方法...原创 2019-04-04 13:30:17 · 272 阅读 · 0 评论 -
Adaboost算法详细推导
文章目录Boosting概念Adaboost介绍及推导 Boosting概念 Boosting是一族可将弱学习器提升为强学习器的算法。其工作机制类似于:先从初始数据集中训练出一个基学习器,再根据基学习器的表现对样本的分布进行调整,使得先前基学习器做错的样本在后续受到更多的关注,然后基于调整后的样本分布来训练下一个基学习器;如此反复进行,直到基学习器的数目达到事先指定的值T,最终将这些基学习器进行...原创 2019-03-31 15:20:23 · 961 阅读 · 0 评论 -
GBDT算法梳理
GBDT算法梳理前向分步算法负梯度拟合损失函数回归二分类、多分类正则化优缺点sklearn参数应用场景参考 前向分步算法 考虑加法模型 其中,b(x,γm)为基函数,γm为基函数的参数,βm为基函数的系数。在给定训练数据及损失函数L(y,f(x))的条件下,学习加法模型f(x)成为经验风险极小化即损失函数极小化问题: 通常这是一个复杂的优化问题。前向分步算法求解这一优化问题的想法是:因为学习的...原创 2019-04-06 21:55:56 · 729 阅读 · 0 评论