2017.08.01回顾 xgboost get_dummies 尽可能留变量

最新推荐文章于 2024-05-13 10:48:20 发布
最新推荐文章于 2024-05-13 10:48:20 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： 日记 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/strwolf/article/details/76570539
版权

节奏不要乱，做应该做的事情，一些不应该做的事情需要克制！

1、上午就是抓取建模变量，对变量做一些初步encode的工作，集中注意力弄了一上午，应该完成了1/3

2 、继续zillow数据建模，有几点收获：

  • xgboost的基分类器是CART，但是也可以用线性分类器，booster参数可以设置，似乎还有一个名叫dart的分类器，听朋友说是神经网络相关的
  • 整理了所有变量的预处理方法
  • 尝试了drop掉90% missing value的字段，但是在lb上效果很烂，CV好像是有所提升
  • 又尝试drop掉了一些地区类的字段，也没能提升lb的排名
  • 感觉到xgboost的这个方法根本不怕多喂他变量，不怕处理高度缺失值的变量
  • 最后我尝试把某些变量转换成哑变量，方法是直接调用pd.get_dummies方法，这个方法有参数可以控制是否转换NaN，他常用参数形如
    pd.get_dummies(df,prefix=['col1','col2'])
    后面的prefix前缀于前面的df列数相对应，如果后面prefix少一个，前面有一列就不会被dummy，这个函数返回一个dummy化的DF，添加到原raw_df可以用
    raw_df = raw_df.join(df)
    可以添加到raw_df后面
  • 添加了dummies变量后，交叉验证mae下降了，感觉有一定希望，但是xgb.DMatrix转换300万*156太慢了，跑了一个小
最低0.47元/天 解锁文章
strwolf
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
xgboost中使用dump_model方法的fmap参数来修改导出模型的特征名称
爱乂乂的博客
10-28 4338
当使用xgboost的dump_model方式导出模型时，有时我们希望导出模型中的特征名与训练时训练集的特征名不一样，但是如果整个模型重新训练一遍又很麻烦，这时可以用fmap方法来指定导出模型的特征名。 def dump_model(self, fout, fmap='', with_stats=False, dump_format="text"): """ Dump model ...
xgboost总结
qq_25992377的博客
04-10 117
参考：https://blog.csdn.net/xiu351084315/article/details/89192983 算法原理 xgboost是在gbdt的基础上做了一些优化。 gbdt是基于CART的集成算法，使用回归树，可以处理分类和回归问题，通过每轮样本训练的训练，不断减小残差，修正合适的损失函数来构建树。 xgboost在损失函数中引入了正则项，减少过拟合；将一阶导数改为二阶导数；...
xgboost学习总结
julyclj55555的博客
10-24 923
特征处理：          缺失值处理：          哑变量处理：          附：需要处理哑变量的算法有，knn、glmnet、svm、xgboost；不需处理为哑变量的算法有，logistic regression、raprt、GBM、randomforest   一、模型参数：          在训练过程中主要用到两个方法：xgboost.train()和xgbo...
Pandas中的get_dummies()函数实战应用详解
最新发布
这家伙很懒，什么都没有留下
05-13 2497
独热编码，也被称为一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位来表示，并且在任意时候只有一位有效。在数据分析中，这通常意味着为每个类别创建一个新的二进制列，如果原始数据中的某个实例属于该类别，则在新列中标记为1，否则为0。Pandas的get_dummies()函数是处理类别型变量的强大工具，它可以将类别型变量转换为独热编码形式，方便后续的数据分析和机器学习算法应用。在使用该函数时，需要注意处理缺失值、添加前缀、处理重复值、指定要转换的列以及处理稀疏矩阵等问题。
kaggle @房价预测 XGBoosts 机器学习
weixin_48632275的博客
04-23 2836
1.导入各种包 import tensorflow as tf from tensorflow.keras import Sequential,layers import keras import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from scipy.stats import norm from scipy import stats import sys 2..
XGboost常见特征处理及其他问题
123
05-30 2983
1. Bagging 和Boosting区别 RF,GBDT,XGBoost,lightGBM都属于集成学习（EnsembleLearning），集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力和鲁棒性。 （1）形式上 Bagging：基本学习器之间存在强依赖关系、必须串行生成的序列化方法； 例如：随机森林 bagging主要关注降低方差 Boosting：基本学习器间不存在强依赖关系、可同时
pandas使用get_dummies进行one-hot编码的方法
09-20
今天小编就为大家分享一篇pandas使用get_dummies进行one-hot编码的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
802.11ax_For_Dummies_Aerohive_Special_Edition
12-11
802.11ax is the next fast-approaching Institute of Electrical and Electronics Engineers (IEEE) standard that addresses today’s biggest Wi-Fi challenges: high density and performance....
RANSAC.zip_RANSAC_RANSAC matlab_RANSAC matlab_RANSAC4Dummies_
09-21
"RANSAC4Dummies"可能是一个面向初学者的教程，详细解释了如何在MATLAB中使用RANSAC算法，帮助用户理解和应用这个强大的工具。 对于实际应用，MATLAB的Computer Vision System Toolbox提供了内置的RANSAC函数，如`...
SharpcSharp.rar_C sharp_C++ for dummies_Sharp
09-14
《C# for Dummies》是一本专为初学者设计的C#编程指南，它深入浅出地介绍了C#语言的基础知识和核心概念。C#（读作"C Sharp"）是微软公司开发的一种面向对象的编程语言，广泛应用于Windows平台、Web应用以及游戏开发...
[译]快速上手：在R中使用XGBoost算法
weixin_33877092的博客
02-07 2233
介绍 你知道 XGBoost 算法是一种现在在数据科学竞赛的获胜方案很流行的算法吗? 那么，他比传统的随机森林和神经网络算法强在哪里呢？广义上来说，它在效率，准确性，可行性都更有优势（接下来我们将会详细讨论）。 在最近的几年中，模型预测已经变得越来越快速和准确了。我记得我曾花费数个小时在为某个模型构建特征工程上，模型却仅仅提升了几个百分点...
用Numpy、Scipy、pandas、Scikit-Learn、XGBoost、Tensorflow、Keras入门数据科学
04-07
用Numpy、Scipy、pandas、Scikit-Learn、XGBoost、Tensorflow、Keras入门数据科学,Data Science with Python explained.
xgboost调参实践
rover
04-14 302
xgboost调参笔记 complete-guide-parameter-tuning-xgboost github code: Parameter_Tuning_XGBoost_with_Example 中文翻译 以二分类为例，主要思路就是用网格搜索做参数调优。 数据源： 如果找不到合适的二分类数据，可以用from sklearn.datasets import make_hastie_10_2...
数据挖掘中的利器--XGBoost理论篇
学习AI算法，请关注微信公众号：机器学习算法全栈工程师……
08-18 6639
XGBoost是各种数据挖掘或机器学习算法类比赛中每个团队都会使用且精度相对最好的算法之一（Deep Learning算法除外）。也就是说，对于刚转向机器学习领域的同胞们，在掌握数据挖掘的基本常识概念之后，要想在比赛中有所收获，掌握XGBoost算法也是当务之急。1、XGBoost算法优点　　XGBoost 是 Extreme Gradient Boosting的简称。它是Gradient Boo
数据挖掘 - xgboost
呵呵
08-27 559
1. 原理 2. 调参 参考文献 https://zhuanlan.zhihu.com/p/25308120
离散型特征处理get_dummies()方法
勤劳的大乐乐的博客
05-16 1822
官方文档：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.get_dummies.html get_dummies()：对离散型数据进行one-hot编码 离散特征的编码分为两种情况： 1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码。 2、离散特征的取值有大...
xgboost 自定义评价函数（metric）与目标函数
wl_ss的博客
12-01 8500
比赛得分公式如下： 其中，P为Precision , R为 Recall。     GBDT训练基于验证集评价，此时会调用评价函数，XGBoost的best_iteration和best_score均是基于评价函数得出。 评价函数： input: preds和dvalid，即为验证集和验证集上的预测值， return  string 类型的名称 和一个flaot类型的fevale
理解XGBoost机器学习模型的决策过程
机器之心
12-21 1507
使用 XGBoost 的算法在 Kaggle 和其它数据科学竞赛中经常可以获得好成绩，因此受到了人们的欢迎（可参阅：为什么 XGBoost 在机器学习竞赛中表现如此卓越？）。本文用一个具体的数据集分析了 XGBoost 机器学习模型的预测过程，通过使用可视化手段展示结果，我们可以更好地理解模型的预测过程。 随着机器学习的产业应
使用xgboost建立评分卡
jwtning的博客
06-25 6748
1. 特征工程 信用评分模型的主要目的是衡量一个用户的信用风险。因此，特征的构造也要围绕着反映用户信用等级的数据展开。特征构造主要是时间维度的聚合统计及跨时 1.1 数据维度 通常衡量一个用户的还款能力...
pd.get_dummies()
09-12
pd.get_dummies()是pandas库中的一个函数，用于实现one hot encode的方式。该函数可以将离散特征变量转化为计算机能够理解的特征距离。具体参数和用法可以参考pandas官方文档中的描述。 例如，给定一个数据框df，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值