![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
集成学习
文章平均质量分 93
莫知我哀
世上无难事,只要肯登攀
展开
-
集成学习6——Blending与Stacking
github地址:DataScicence集成学习5-Xgboost原理与调参集成学习4-前向分步算法与GBDT-原理与案例集成学习3-Boosting的原理和案例集成学习2-bagging的原理与案例分析集成学习1-投票法的原理和案例分析Blending原理步骤:将数据划分为Train_data、Validate_data、Test_data三部分第一层模型:使用多个base模型在Train_data上进行训练,得到多个模型MkM^kMk分别将Validate_data,.原创 2021-05-11 15:02:04 · 159 阅读 · 0 评论 -
集成学习5-Xgboost原理与调参
github地址:DataScicence欢迎star集成学习4-前向分步算法与GBDT-原理与案例集成学习3-Boosting的原理和案例集成学习2-bagging的原理与案例分析集成学习1-投票法的原理和案例分析Xgboost原理与调参XGBoost原理目标函数定义树模型重构目标函数求解w和L:寻找最佳分支Xgboost案例加载数据集训练模型绘制特征重要性调参XGBoost原理Xgboost的大致原理与GBDT相似,但是在部分步骤中进行了改进目标函数xgboost与GBDT最大的.原创 2021-04-26 11:39:01 · 3689 阅读 · 0 评论 -
集成学习4-前向分步算法与GBDT-原理与案例
github地址:DataScicence欢迎star集成学习3-Boosting的原理和案例集成学习2-bagging的原理与案例分析集成学习1-投票法的原理和案例分析集成学习4-前向分步算法与GBDT-原理与案例GBDT的原理CART回归树前向分步算法BDT(提升树)GBDT(梯度提升树)GBDT案例数据读取数据集划分模型训练迭代次数与训练结果特征重要度模型调参n_estimatorsmax_depth,min_samples_splitlearning_rate训练结果GBDT的原理.原创 2021-04-21 13:40:37 · 216 阅读 · 0 评论 -
集成学习3-Boosting的原理和案例
1投票学习2bagging集成学习3-Boosting的原理和案例bootsting原理boosting 案例数据读取数据划分弱分类器:单层决策树adaboost结果对比当弱分类器变成强分类器时:boosting的特点bootsting原理如上图所示,问题是为了解决一个二分类问题,为此,我们选择一个深度为1的单层决策树进行训练图1:原始分布中,通过最小化代价函数(不纯度等),得到一个决策边界,可以看到,两个圆形被错误分类,因此要增加他们的权重,并且降低正确分类的样本的权重,变成图2的分.原创 2021-04-19 14:20:45 · 858 阅读 · 0 评论 -
集成学习2-bagging的原理与案例分析
投票学习bagging原理bootstrap抽样:有放回地从原始数据集中,随机抽取相同数量的数据也可以对特征属性进行抽样降低模型的方差因为每个基模型的训练数据都不同,因此模型之间存在细微的差异,这样可以有效降低最终模型的结果方差,并且提高泛化能力与投票法的区别基模型可以选择相同的模型在投票环节,方法与投票法相同缺点不能降低的模型的偏差,也就是如果基模型效果不好,那么无论如何改进bagging模型,也无法得到较好的训练结果训练时间偏长,boosti.原创 2021-04-16 13:57:58 · 284 阅读 · 0 评论 -
集成学习1-投票法的原理和案例分析
参考资料:#>《Python 机器学习》github地址:欢迎访问这里写目录标题投票法的原理集成模型好于单个分类器的原因加权多数投票硬投票软投票投票法的使用条件投票法案例数据读取基分类器与集成投票器分类结果(训练集)不同模型的auc_roc曲线(测试集)不同模型的分类边界投票法的原理如上图所示,在同一训练集上,训练得到多个分类或回归模型,然后通过一个投票器,通过某种加权方式,输出得票率最高的结果。集成模型好于单个分类器的原因假设:n个基分类器的出错率都是ϵ\epsilonϵ,且相互独.原创 2021-04-13 17:20:13 · 2168 阅读 · 8 评论