![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Datawhale-集成学习笔记
文章平均质量分 82
集成学习学习笔记
萌萌不在家
南京
展开
-
Datawhale-集成学习Day6-XGBoost
Datawhale-集成学习Day6-XGBoost1. 前置知识——泰勒公式2. XGBoost1. 前置知识——泰勒公式学过高等数学的话,我们就可以知道泰勒公式。这是一个很美妙的公式,其最大的贡献就是可以通过多项式来表示其他函数。也就是说,我们可以将一些不规则的函数转化为一个无限项的多项式。带有Peano余项的泰勒公式:f(x)=f(x0)+f‘(x0)(x−x0)+f‘‘(x0)2!(x−x0)2+⋯+f(n)(x0)n!(x−x0)n+o((x−x0)n)f(x)=f(x_0)+f^`(x原创 2021-04-26 23:38:35 · 93 阅读 · 0 评论 -
Datawhale-集成学习-学习笔记Day5-前向分步算法
Datawhale-集成学习-学习笔记Day5-前向分步算法1. 加法模型与前向分步算法2. 提升树3. 梯度提升树1. 加法模型与前向分步算法我们可以先了解一下什么是加法模型。加法模型的通式为:f(x)=∑m=1Mβmb(x;γm)f(x)=\sum_{m=1}^{M} \beta_{m} b\left(x ; \gamma_{m}\right)f(x)=m=1∑Mβmb(x;γm)其中,b(x;γm)b\left(x ; \gamma_{m}\right)b(x;γm)为即基本分类器原创 2021-04-23 16:46:52 · 106 阅读 · 0 评论 -
Datawhale-集成学习-学习笔记Day4-Adaboost
Datawhale-集成学习-学习笔记Day4-Adaboost1. 什么是boosting,与bagging的区别是什么2. Adaboost1. 什么是boosting,与bagging的区别是什么在集成学习中,主要的分支就只有两块。其中一个是bagging算法,另外一个是boosting算法。在bagging的学习中,我们可以得知bagging主要是针对数据集进行操作,进行随机的采样。同时我们也论证过,bagging只影响了结果的方差,通过减小方差来得出更好的结果。但是,bagging并没有影响的原创 2021-04-20 20:24:08 · 135 阅读 · 0 评论 -
Datawhale-集成学习-学习笔记Day3-决策树与随机森林
Datawhale-集成学习-学习笔记Day3-决策树与随机森林1. 决策树2. 特征选择与信息增益2.1 特征选择2.2 信息增益2.3 使用信息增益来进行特征选择3. 与bagging结合的决策树算法——随机森林1. 决策树决策树,一种基本的分类与回归方法。个人认为,决策树更加广泛的应用于分类任务中。顾名思义,决策树是一种树形的模型,它基于特征对实例进行分类。决策树的好处是具有非常高的可读性,我们可以把它当成一些if-then规则的集合。一般来说,决策树的训练包括以下三个步骤:特征的选择决策原创 2021-04-18 22:53:05 · 99 阅读 · 0 评论 -
Datawhale-集成学习-学习笔记Day2-bagging
Datawhale-集成学习-学习笔记Day2-baggingbagging为什么bagging可以降低方差案例实现bagging与投票法类似,bagging也将所有及模型的结果统一在一起,来当作模型最终的结果。但是bagging在投票法的基础上又更前进了一步,采用了一定的策略来影响基模型的训练,从而进一步降低模型的方差。在投票法中我们说过,我们希望各个模型之间会有较大的差异性,来获取更好的结果。但是在实际操作中,我们使用的模型往往是同质的。所以,在bagging我们使用不同的采样方法来增加模型的差异原创 2021-04-17 14:49:12 · 120 阅读 · 0 评论 -
Datawhale-集成学习-学习笔记Day1-Voting
集成学习什么是集成学习投票法案例操作sklearn函数介绍实际代码什么是集成学习在传统的机器学习任务中,我们的目的往往是得出一个和实际情况相符的模型。例如,分类任务中,我们想要得出的结果就是可以获取一个无论输入是什么都可以输出正确分类的分类模型。但是事实上,得到这样的模型是非常困难的。通常情况下,我们得到的模型只能是较好的。而集成学习就是组合这些这些较好的模型,以期达到更好的效果。投票法在现实生活中,在很多人意见不统一的时候,我们最常用的方法就是少数服从多数。这就是非常简单的投票法。例如,在一个原创 2021-04-13 17:21:21 · 218 阅读 · 1 评论