- 博客(3)
- 收藏
- 关注
原创 GBDT算法梳理
前向分步算法 利用线性组合将一系列的弱学习器结合,已解决单一弱学习器在测试集上泛化能力不强的境况。这个想法被称作加法模型,表示如下: 式中βm是基函数b(x;γm)的系数。 在给定训练数据和损失函数L(y,f(x))的条件下,学习加法模型f(x)成为经验风险极小化(即损失函数极小化问题) 。 通常这是一个复杂的优化问题,如果能从前向后每一步只学习一个基函数及其系数,逐步逼近优化目标函数式,那么...
2019-01-29 19:20:03
252
2
原创 随机森林算法梳理
1 集成学习 1.1 集成学习的概念 集成学习(ensemble learning)是通过结合多个学习器来完成学习任务,其思路是通过合并多个模型来提升机器学习性能,其研究的核心构造出“好而不同”的个体学习器。 一般来说集成学习可以分为三大类: 用于减少偏差的boosting 用于减少方差的bagging 用于提升预测结果的stacking 大部分集成模型都通过一个基础学习算法来生成一个同质的基础...
2019-01-27 19:53:14
418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人