![](https://img-blog.csdnimg.cn/20190918140145169.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
集成学习
集成学习学习笔记
EntropyPlus
这个作者很懒,什么都没留下…
展开
-
XGBoost
1. 目标函数:假设有XGBoost模型中由kkk棵树组成,则可以预测值可以由K棵树的预测结果相加得出,第kkk棵树模型表示为fk(x)f_k(x)fk(x):1.1 树的复杂度树模型的复杂度主要有以下三种:叶子结点个数树的深度叶节点的值(假设预测值为1000,每棵树的值预测值在100到200之间,此时只需要10棵树左右,如果降低叶子结点的值,则需要更多的树拟合目标值。因此树的复...原创 2020-03-27 22:28:45 · 326 阅读 · 0 评论 -
集成学习-AdaBoost-(分类)
文章目录1. 概念1.1 League of Legends 还是 AdaBoost?1.2 真正的AdaBoost1.2.1 样本空间1.2.2 表达式1.2.3 AdaBoost的损失函数1.2.4 AdaBoost 的前生今世1.2.5 基本流程2. AdaBoost的另一种理解3. 提升树(Boosting Tree)3.1 数据4. 代码5. 小结6. 参考文献1. 概念1.1 Le...原创 2019-09-27 14:58:10 · 268 阅读 · 0 评论 -
随机森林
文章目录1. 决策树的不足2. 随机森林1. 决策树的不足在机器学习方法中,任何一次实现都是基于一个特定的数据集,而这个数据集可能只是训练集中的一次随机抽样,所以才有了所谓的10折交叉验证等方法。在不使用该方法的情况下,很多机器学习算法受到了这种随机性的影响,因此,得到的模型也具有一定的偶然性。而随机森林通过与该方式结合,在一定程度提高了准确性和推广能力。2. 随机森林...原创 2019-09-28 10:57:37 · 583 阅读 · 0 评论 -
GBDT通俗版
文章目录1. GBDT 简介2. 算法流程2.1 拟合对象为连续值1. 初始化参数2. 计算误差3. 更新估计值4 重复步骤32.2 拟合对象为离散值1. GBDT 简介GBDT全称为Gradient Boost Decision Tree,提升决策树,其实本质上和AdaBoost模型没有太大的区别,仅仅是在提升对象方面略有差别。AdaBoost模型是通过调整错误样本的权重达到提升的目的,而G...原创 2019-10-02 13:24:48 · 568 阅读 · 0 评论 -
GBDT模型-科学推导
文章目录1. GBDT简介1.1 与随机森林的区别1.2 应用1.3 基本思路1.4 理论依据2. GBDT公式推导2.1 目标2.2 初始化2.2_5 初始化之后考虑的事2.3 计算伪残差(pseudo residuals)2.4 训练拟合残差的弱学习器2.5 找一个合适该弱学习器的权重2.6 更新模型3 在回归方面的应用3.03.2 计算伪残差4 在分类方面的应用1. GBDT简介1.1 ...原创 2019-10-02 13:27:20 · 812 阅读 · 0 评论