模型优化
文章平均质量分 82
OrangeCat橘猫
坚持不懈才能无懈可击!
展开
-
Boosting方法的基本思路
Boosting方法的基本思路前言Boosting方法的基本思路Adaboost算法案例前言在前面的学习中,我们探讨了一系列简单而实用的回归和分类模型,同时也探讨了如何使用集成学习家族中的Bagging思想去优化最终的模型。Bagging思想的实质是:通过Bootstrap 的方式对全样本数据集进行抽样得到抽样子集,对不同的子集使用同一种基本模型进行拟合,然后投票得出最终的预测。我们也从前面的探讨知道:Bagging主要通过降低方差的方式减少预测误差。那么,本章介绍的Boosting是与Baggin.转载 2021-04-21 00:17:22 · 1051 阅读 · 0 评论 -
Bagging原理分析
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档bagging原理分析bagging的思路bagging的原理分析bagging的案例分析(基于sklearn,介绍随机森林的相关理论以及实例)bagging的思路与投票法不同的是,Bagging不仅仅集成模型最后的预测结果,同时采用一定策略来影响基模型训练,保证基模型可以服从一定的假设。在上一章中我们提到,希望各个模型之间具有较大的差异性,而在实际操作中的模型却往往是同质的,因此一个简单的思路是通过不同的采样增加模型的差异性。ba转载 2021-04-18 00:15:15 · 540 阅读 · 0 评论 -
模型调参方法
模型参数调参网格搜索GridSearchCV()随机网格搜索RandomizedSearchCV()类别为二分类时实例 :XGBoost调参网格搜索GridSearchCV()from sklearn.model_selection import GridSearchCVfrom sklearn.svm import SVCimport timestart_time = time.time()pipe_svc = make_pipeline(StandardScaler(),SVC(rando转载 2021-03-29 21:43:17 · 1141 阅读 · 0 评论 -
使用sklearn构建完整的分类项目
使用sklearn构建完整的分类项目量模型性能的指标逻辑回归决策树支持向量机SVM量模型性能的指标度量分类模型的指标和回归的指标有很大的差异,首先是因为分类问题本身的因变量是离散变量,因此像定义回归的指标那样,单单衡量预测值和因变量的相似度可能行不通。其次,在分类任务中,我们对于每个类别犯错的代价不尽相同,例如:我们将癌症患者错误预测为无癌症和无癌症患者错误预测为癌症患者,在医院和个人的代价都是不同的,前者会使得患者无法得到及时的救治而耽搁了最佳治疗时间甚至付出生命的代价,而后者只需要在后续的治疗过程中转载 2021-03-28 00:14:01 · 228 阅读 · 0 评论 -
XGBoost的参数介绍及调参
XGBoost的参数介绍及调参XGBoost参数解释一、通用参数二、Booster参数二、学习目标函数三、XGBoost调参XGBoost参数解释XGBoost的参数分为三大类:通用参数:根据需求宏观调控。Booster参数:booster参数一般可以调控模型的效果和计算代价。我们所说的调参,很这是大程度上都是在调整booster参数。学习目标参数:控制训练目标的表现。我们对于问题的划分主要体现在学习目标参数上。比如我们要做分类还是回归,做二分类还是多分类,这都是目标参数所提供的。一、通用参原创 2021-03-23 11:34:27 · 3299 阅读 · 2 评论