Kaggle实战之集成学习进行泰坦尼克预测比赛

最新推荐文章于 2024-04-11 09:55:32 发布
最新推荐文章于 2024-04-11 09:55:32 发布
阅读量990 收藏 1
点赞数 2
分类专栏： 机器学习 文章标签： Kaggle 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sherpahu/article/details/84146907
版权

一、集成学习浅谈

集成算法利用统计学中的采样原理训练出数量庞大的模型再利用投票原则进行预测，正所谓三个臭皮匠顶的上一个诸葛亮，许多弱学习器集成起来可以达到很好的效果。

集成学习算法主要分为Bagging, Boosting, Stacking这几种, 在Kaggle竞赛中使用的十分广泛.

Bagging

随机有放回采样, 可以并行训练多个模型, 常用的随机森林属于Bagging的进化版

Boosting

Boogting与Bagging的区别主要在于boosting采用的是加大预测错误样本的权重的方法对于模型进行不断的修正, 所以模型之间会产生影响, 只能够串行执行. Xgboost和我下面要介绍的Catboost就属于这一种.

其中Gradient Boosting属于Boosting中的一大类算法, 其基本思想是依据当前模型损失函数的负梯度信息来训练新加如的弱分类器, 然后将其以累加的方式加入现有模型中. LightGBM也在Kaggle竞赛中应用极广, 效果很好.

二、CatBoost

在这个比赛中我主要用的是Yandex公司开源的CatBoost库, 这个库在Kaggle中的热度没有Xgboost和LightGBM高, 但是经我尝试CatBoost的效果还是非常令人满意的.

发现这个库也有一段曲折的经历, 在闲鱼上面花了几块钱买下来Coursera上机器学习专题的所有课程后, 毛子做的一个课程吸引了我的注意力."How to Win a Data Science Competition: Learn from Top Kagglers", 这里面一个毛妹介绍了一下这个库, 搜了一下它跟Xgboost和lightGBM的比较, 发现这个库也是相当不错.

CatBoost:ä¸ä¸ªèªå¨å¤çåç±»(CAT)æ°æ®çæºå¨å­¦ä¹ åº

CatBoost与Xgboost有点不同, CatBoost采用的是平衡树, 运算的速度比Xgboost快了不少, Xgboost巨慢的速度也是影响我们调参的一个障碍. CatBoost还可以直接对于Category进行处理, 这也是它得名的原因, 这就免去了我们在特征工程中对于种类数据的独热处理.

在Kaggle的leadboard上面我们经常会看见很多大神的名字以洛夫, 斯基, 娃等俄语专有的词缀结尾, 中美虽然几乎各自占据了AI产业界的半壁江山, 但是俄罗斯的人才实力也是绝对不容忽视的, 从ACM-ICPC的榜单上我们就可以窥知一二, 苏联解体已经近三十年了, 但是苏式这种极为扎实的理科教育还是为一大批独联体国家及苏联曾经的卫星国培养出了许许多多相当优秀的人才.

三、Kaggle实战代码

总得而言，Catboost的效果比决策树的效果好了很多，0.79425分，能够排到2270/10162

https://colab.research.google.com/drive/10-KvwlPOzJcj0r7Xis95JIza0mYOsyYH

 

sherpahu
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
学习笔记：用集成模型预测泰坦尼克号伤亡情况（与单一决策树进行对比）
HorseRunningNoStop的博客
05-15 313
代码如下:# -*- coding: utf-8 -*- """ Created on Mon May 14 09:29:48 2018 @author: eagle """ # ============================================================================= # 单一决策树与集成模型（随机森林分类器和梯度提升决策树）对...
机器学习笔记 - sklearn随机森林（集成学习）（kaggle 实战 Space Titanic 入门）
haobowen的博客
10-31 819
随机森林是通过集成学习的思想将多棵决策树集成起来的一种算法，以期获得更准确和更稳定的预测能力。随机森林的基本单元是决策树。随机森林属于机器学习的一个分支--集成学习方法，或者说随机森林就是集成学习思想的产物。集成学习是一种把多个模型整合起来，互相取长补短，避免局限性，发挥长处，实现更好的分类和回归预测的机器学习方法。它生成多个分类器，各自独立地学习和做出预测，集成学习把这些分类器整合起来。随机森林将许多棵决策树整合成森林，是一种利用多棵树对样本进行训练并预测的分类器。
【六 （6）机器学习-分类任务-kaggle泰坦尼克号宇宙飞船实战使用BayesianOptimization搜索参数并用SequentialFeatureSelector进行特征选择】
最新发布
weixin_42924611的博客
04-11 354
使用BayesianOptimization搜索参数并用SequentialFeatureSelector进行特征选择
【机器学习】Kaggle知识点：集成学习基础
fengdu78的博客
04-14 655
集成学习基础集成学习是指结合两个或多个模型的机器学习模型。集成学习是机器学习的分支，通常在追求更强预测的能力时使用。集成学习经常被机器学习竞赛中的顶级和获胜参与者使用。现代机器学习库（scikit-learn、XGBoost）内部已经结合了常见的集成学习方法。集成学习介绍集成学习结合多个不同的模型，然后结合单个模型完成预测。通常情况下，集成学习能比单个模型找到更好的性能。...
Kaggle机器学习之模型集成（stacking）
lizz2276的博客
09-12 546
Stacking是用新的模型（次学习器）去学习怎么组合那些基学习器，它的思想源自于Stacked Generalization这篇论文。如果把Bagging看作是多个基分类器的线性组合，那么Stacking就是多个基分类器的非线性组合。Stacking可以很灵活，它可以将学习器一层一层地堆砌起来。 根据上图分析一下stacking具体步骤： 　　1）TrainingData进行5-fold分割，正好生成5个model，每个model预测训练数据的1/5部分，最后合起来正好是一个完整的训练集Pr.
KAGGLE比赛中集成方法使用教程（KAGGLE ENSEMBLING GUIDE）
laolu1573的专栏
12-26 1838
KAGGLE比赛中集成方法使用教程（KAGGLE ENSEMBLING GUIDE） Model ensembling is a very powerful technique to increase accuracy on a variety of ML tasks. In this article I will share my ensembling approaches for K
Kaggle实战：泰坦尼克幸存者预测 -下
01-20
上一篇文章介绍了如何使用深度学习来预测泰坦尼克号幸存者，这一部分使用多分类器投票来做。由于数据预处理部分比较相似，重复的地方不再赘述，把重点放在模型的构建和优化上面。 使用的环境以及依赖包版本： from ...
Kaggle实战：泰坦尼克幸存者预测 – 上
01-20
泰坦尼克幸存者预测是Kaggle上数据竞赛的入门级别的比赛，我曾经在一年前作为作业参加过这个比赛，我想要再次从这个比赛开始，尝试不同的模型，来当作在Kaggle比赛的起点。 关于此次竞赛，我想分成两个部分，第一个...
kaggle入门竞赛之泰坦尼克存活预测
03-06
kaggle入门竞赛之泰坦尼克存活预测。 kaggle竞赛对于数据科学的从业人员而言，是一个锻炼和挑战的好机会。 本文以kaggle的入门级别竞赛：泰坦尼克事故存活预测为实例，来讲述如何参与到kaggle竞赛中。
kaggle房价预测实战【含数据集、实战文档、预测结果】
12-08
包含Kaggle比赛：房价预测数据集，实战的介绍文档及预测结果。 房价预测数据集分为训练数据集和测试数据集。两个数据集都包括每栋房子的特征，如街道类型、建造年份、房顶类型、地下室状况等特征值。这些特征值有...
Kaggle实战之信用卡盗刷预测.pdf
01-05
Kaggle实战之信用卡盗刷预测 本资源摘要信息涵盖了信用卡盗刷预测项目的关键知识点，包括项目介绍、建模思路、场景解析、数据分析、模型评估、数据预处理等方面。 1. 项目介绍 信用卡盗刷预测项目的目的是通过...
XGBoost、LightGBM、Catboost对比
01-06
本文主要参考Battle of the Boosting Algos: LGB, XGB, Catboost，结果与原文有出入。 文章目录1. 对比标准1.1 数据集1.2 规则1.3 版本2. 结果2.1 准确率2.2 训练时间和预测时间2.3 可解释性2.3.1 特征重要性2.3.2 SHAP值2.3.3 可视化二叉树3. 总结4. 代码参考文献 1. 对比标准 1.1 数据集 分类：Fashion MNIST（60000条数据784个特征） 回归：NYC Taxi fares（60000条数据7个特征） 大规模数据集：NYC Taxi fares（2百万条数据7个特征） PS：本文只进行
kaggle案例实战学习
weixin_30906185的博客
03-09 303
资料https://www.bilibili.com/video/av9853646/index_2.html#page=1 3/9/2018 NO.1 finished。后面xgboost代码实在看不懂，其他地方都大致理解了。看来需要补一下sklearn的库的知识，并且ppt内容并没有那么规整，有点乱，总体来说肯定比自己看文字版的教学要好很多。 转载于:https://www.c...
kaggle平台学习复习笔记 | 数据划分与模型集成
lijiamingccc的博客
01-12 587
可以看到，第一种划分不均匀，当添加参数stratify=Y时，可以看到数据均被转换为合理的数值格式，供模型训练使用。sklearn中封装的一系列的数据划分的代码。(24, 35) 是 Young Adult。在将新的特征拼接到训练集上，进行新的学习。(12, 18) 是 Teenager。(18, 24) 是 Student。在第一次学习的基础上生成新的特征，类似的查看其他字段和幸存率的关系。不均匀的分布方式 KFold。(5, 12) 是 Child。理想情况下AUC接近0.5。
机器学习项目实战——11集成学习算法之泰坦尼克号船员获救预测
weixin_45823221的博客
04-27 1342
机器学习项目实战——11集成学习算法之泰坦尼克号船员获救预测
集成学习投票法实践案例
肖永威的专栏
07-10 1242
集成学习投票法介绍，如何使用投票法提高模型的准确率！以及对应的实践设计案例。
机器学习——集成算法
Dujing2019的博客
08-03 6432
机器学习——集成算法（一）集成算法原理1.1 Bagging模型1.2 Boosting模型（二）集成算法实验分析2.1 硬投票和软投票效果2.2 OOB袋外数据的作用2.3 特征重要性2.4 Boosting-提升策略 （一）集成算法原理 目的： 让机器学习效果更好，单个不行，集成走起。 Bagging： 训练多个分类器取平均f(x)=1/M∑m=1Mfm(x)f(x)=1/M\sum_{m=1...
python机器学习 | 集成算法介绍及实现
Claire_chen_jia的博客
11-27 2652
集成算法介绍及实现1 集成算法基本概念2 集成算法介绍2.1 Bagging2.2 随机森林2.3 Boosting2.4 Stacking3 随机森林API介绍及实现3.1 随机森林API实现3.2 随机森林分类示例3.2 随机森林回归3.3 随机森林优化调参 1 集成算法基本概念 （1）定义：集成算法是通过建立几个模型来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和做出预测(如图所示)。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。 [外链图片转存失败,源站可能有
机器学习：集成算法(Ensemble Method)
热门推荐
Avalon
12-13 1万+
1. 集成算法：
 将多个分类器集成起来而形成的新的分类算法。这类算法又称元算法(meta-algorithm)。最常见的集成思想有两种bagging和boosting。2. 集成思想： boosting：基于错误提升分类器性能，通过集中关注被已有分类器分类错误的样本，构建新分类器并集成。 bagging：基于数据随机重抽样的分类器构建方法。 
 3. 算法示例： 随机森林（Random For
机器学习kaggle实战-泰坦尼克号问题知识梳理
05-20
泰坦尼克号问题是一个经典的二分类问题，即预测乘客是否能在泰坦尼克号沉船事故中生还。以下是机器学习Kaggle实战-泰坦尼克号问题的知识梳理： 1. 数据探索与可视化：首先需要对数据进行探索性数据分析（EDA），了解数据的特征、缺失值、异常值等情况，并使用可视化工具（如Matplotlib、Seaborn）对数据进行可视化。 2. 特征工程：根据数据探索的结果，对原始数据进行特征选择、特征提取、特征变换等操作，以便更好的训练机器学习模型。 3. 模型选择与训练：选择适当的机器学习模型，如逻辑回归、决策树、随机森林等，并对数据进行训练和调参。可以使用Python中的Scikit-learn库进行模型训练。 4. 模型评估：使用交叉验证、ROC曲线、混淆矩阵等方法对模型进行评估，并选择适当的评价指标（如准确率、精确率、召回率等）。 5. 模型融合：将多个模型进行融合，以达到更好的预测效果。可以使用Stacking、Blending、Bagging、Boosting等方法进行模型融合。 6. 提交结果：将预测结果提交到Kaggle上，查看在测试集上的预测准确率，并与其他选手进行排名比较。 以上就是机器学习Kaggle实战-泰坦尼克号问题的知识梳理，希望对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值