kaggle比赛记录——ieee_fraud_detection问题 研究第一名xgboost解法心得

最新推荐文章于 2022-02-23 15:45:23 发布
最新推荐文章于 2022-02-23 15:45:23 发布
阅读量1.2k 收藏 5
点赞数 1
分类专栏： 时间序列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ThomasCai001/article/details/102799177
版权

首先贴上第一名大神的分享链接：
https://www.kaggle.com/c/ieee-fraud-detection/discussion/111510

一、XGB代码

这里是研究代码而做的几点笔记：

  • 重在特征分析，包括联合两个或多个特征，联合多个特征后进行平均值和方差运算单独再成特征，计算值出现的个数（直方图）并归一化再成特征，用factorize而少用dummies处理object特征
  • 处理特征的时候经常用astype来减小使用内存
  • 时间一致性：每次用一个特征去进行训练预测，计算roc，低于0.5的则认定测试失败并移除该特征
  • 对于时间的处理 - 他是直接把秒级处理成了月级
  • 然后进行构造uid特征，并进行后处理（还没懂）

在这里插入图片描述

二、How to find UIDs

  • 举个栗子：什么是UIDs
    在这里插入图片描述
    很简单，就是较为明显的对样本进行分类~

以下是作者寻找uids所做的操作：

对于m以前的列：（53列）

  • 先用lightGBM或XGBoost的特征重要性进行排行，筛选出重要性前n(11)的特征；
  • 为了概括性，选出3个不同领域的特征联合起来形成uid特征，再按照联合特征groupby对其他的特征计算均值和方差，形成新的特征
  • notes:
    在这里插入图片描述
    对于v*列
  • 同样先做重要性排行
  • 然后做了相关性分析
  • 将相关性高的特征剔除，从而选出几列特征和上述的uid特征以’nunique’的方式聚合（没懂？因为v列特征较为离散，此方式计算不同的个数有多少个?见下疑问）
  • notes:
    在这里插入图片描述
    疑问：
  1. 聚合特征有时用mean、std，有时用nuique，为什么？
    我的理解：
    （1）对于特征值是离散值的特征，如果出现的值较为单一，用mean或std
    （2）对于特征值是离散值的特征，如果出现的值多样化，用nuique
    （3）对于特征值是连续值的特征，用mean或std
  2. uid和其他特征聚合，其他特征是怎么选择的？
  3. 特征之间的聚合，依据是什么？

然后对应xgb代码 有一个后处理的解释，这里仍然没懂。

三、UIDs的实现记录

Thomas_Cai
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
[Kaggle竞赛] IEEE-CIS Fraud Detection
Rinnki's memo
10-10 3962
Kaggle竞赛——[IEEE-CIS Fraud Detection] 1.EDA 2.特征工程 3.特征筛选+降维 4.LightGBM 本次比赛的结果是铜牌：373/6381-Top 6% Private Leaderboard：0.928512
Kaggle赛题-Synthetic Financial Datasets For Fraud Detection
令狐公子的博客
10-15 4526
反欺诈数据预测 import numpy as np import pandas as pd import matplotlib.pyplot as plt import matplotlib.cm as cm import seaborn as sns from sklearn import preprocessing from scipy.stats import skew, boxcox
数据分析实战-Kaggle-手把手Xgboost信用欺诈检测实例-超详细完整数据分析项目
Data _designer
05-22 6243
这个实战并不是我自己纯手写的，其中很多想不明白的地方参考了诸多kaggle金牌得主的discussion和idea，其实数据分析本来就不是从0开始，嘿嘿。
Kaggle八门神器（一）：竞赛神器之XGBoost介绍
chzy的博客
05-29 668
Xgboost为一个十分有效的机器学习模型，在各种竞赛中均可以看到它的身影，同时Xgboost在工业届也有着广泛的应用，本文以Titanic数据集为研究对象，简单地探究Xgboost模型建模过程，同时对数据清理以及特征工程的内容作简单的介绍，以此作为Xgboost模型的学习笔记，错误和不足之处还请各位看官指出。 数据集 本文数据集源自于竞赛Titanic: Machine Learning fro...
kaggle 《IEEE-CIS Fraud Detection》比赛 代码学习总结
qq_38142769的博客
08-16 842
kaggle地址：https://www.kaggle.com/kabure/extensive-eda-and-modeling-xgb-hyperopt 比赛地址：https://www.kaggle.com/c/ieee-fraud-detection
PredictSurvival.rar_XGBoost kaggle_kaggle_python_xgboost_xgboost
07-15
本压缩包“PredictSurvival.rar_XGBoost kaggle_kaggle_python_xgboost_xgboost”提供了一个入门级别的Kaggle竞赛案例，主要关注的是存活预测问题。在这个项目中，参赛者使用了Python编程语言，并选择了强大的机器...
kaggle-avazu-rank2.zip_kaggle_kaggle rank_kaggle比赛_rank2_亚马逊
09-21
在本项目中，我们关注的是一个名为 "kaggle-avazu-rank2.zip" 的压缩包文件，它与Kaggle上的一个亚马逊广告效果预估竞赛相关，并且在这个比赛中获得了Rank2的好成绩。Kaggle是全球知名的机器学习和数据分析竞赛平台...
kaggle叶子分类.zip_KAGGLE叶子_kaggle_kaggle 叶子分类_quicklyrn9_一维卷积网络
07-15
利用一维卷积神经网络将叶子进行分类，里面包含的有数据
kaggle_statefarm_distracted_driver_detection.zip
08-04
标题 "kaggle_statefarm_distracted_driver_detection.zip" 暗示了这是一个与 Kaggle 竞赛相关的数据集，专注于识别分心驾驶的行为。Kaggle 是一个知名的在线平台，提供各种数据科学和机器学习竞赛，促进全球的数据...
IEEE-CIS-Fraud-Detection
03-20
IEEE-CIS-欺诈检测 该存储库包含有关IEEE-CIS欺诈检测数据集的深入探索探索性数据分析（EDA）。竞争是一个二进制分类问题-即我们的目标变量是一个二进制属性（用户是否使点击欺诈？），我们的目标是尽可能将用户分类为“欺诈”或“非欺诈”。 您可以阅读IEEE-CIS欺诈检测页面中的完整数据集概述和数据描述。 在此存储库中，您可以访问； EDA.ipynb：包含深入分析的Jupyter笔记本 util_data_cleaning.py：包含大量数据清除功能的Python文件。 util_reporting.py：包含大量可视化和报告功能的Python文件。 util_feature_engineering.py：包含大量数据准备和整理功能的Python文件。 您可以看一下我的Kaggle内核，以了解如何简化EDA流程：
逻辑回归+信用卡欺诈检测.rar
12-11
共有两个压缩包，包括逻辑回归以及信用卡欺诈，首先是利用梯度下降法求解逻辑回归，另外一个压缩包是逻辑回归在信用卡欺诈中的实际应用
信用卡欺诈检测数据集.zip
04-07
开源的数据集-信用卡欺诈检测数据集 https://www.kaggle.com/mlg-ulb/creditcardfraud kaggle 免费下载的东西为什么要积分要c币？
Fraud_Detection：识别信用卡上的欺诈交易
02-14
欺诈识别 识别信用卡上的欺诈交易。 想象一下，站在杂货店的结帐柜台后排成一排，您的收银员却很安静地宣布您的卡已被拒绝。 在这一刻，您可能没有考虑决定命运的数据科学。 不好意思，并且确定您有足够的资金来支付为您的50个最亲密的朋友举办一场史诗般的玉米片派对所需要的一切，您可以再次尝试购买卡片。 结果相同。 当您离开并允许收银员照看下一位客户时，您会从银行收到一条短信。 “如果您真的想在切达干酪上花费500美元，请按1。” 虽然目前可能很麻烦（并且常常令人尴尬），但这种防欺诈系统实际上每年为消费者节省了数百万美元。 IEEE计算智能协会（IEEE-CIS）的研究人员希望改善这一数字，同时也要改善客户体验。 通过更高准确性的欺诈检测，您可以轻松处理芯片。 IEEE-CIS跨各种AI和机器学习领域工作，包括深度神经网络，模糊系统，进化计算和群体智能。 今天，他们与全球领先的支付服务公司Ve
IEEE-CIS Fraud Detection-数据集
03-19
IEEE-CIS Fraud Detection Dataset.The data comes from Vesta's real-world e-commerce transactions and contains a wide range of features from device type to product features. IEEE-CIS欺诈检测数据集，数据来自Vesta的现实世界电子商务交易，包含从设备类型到产品功能的多种功能。 sample_submission.csv test_identity.csv train_identity.csv test_transaction.csv train_transaction.csv
regress.zip_kaggle_regress案例_xgboost 回归_xgboost回归
07-15
一个xgboost实现的回归模型预测，数据集来源于kaggle的taxi竞赛
XGBoost 与 信用卡诈骗数据集
大卫DrDavidS的博客
07-31 4315
在Github 上面找到了一个信用卡诈骗数据集： https://github.com/georgymh/ml-fraud-detection 数据源于 kaggle 的信用卡诈骗数据。 其中给出了三种大方法，分别是神经网络，kmeans，以及逻辑回归。 但是今天我想要用XGBoost 试一试。
Kaggle | IEEE Fraud Detection（EDA）
Tinky2013的博客
02-07 1244
IEEE Fraud Detection - EDA 1 Description In this competition, you’ll benchmark machine learning models on a challenging large-scale dataset. The data comes from Vesta’s real-world e-commerce transacti...
kaggle支付反欺诈：IEEE-CIS Fraud Detection第一名方案 特征处理代码
井底小蛙的博客
02-23 725
import pandas as pd import numpy as np """ kaggle支付反欺诈：IEEE-CIS Fraud Detection第一名方案 特征处理 """ ###### 1.加载数据 df_train = pd.read_csv(r"C:\Users\ld\Desktop\yc18\train1.csv",encoding="cp936") df_test = pd.read_csv(r"C:\Users\ld\Desktop\yc18\test1.csv",encodi.
kaggle上credit_risk_customers数据集市什么时间的
最新发布
06-09
kaggle上的credit_risk_customers数据集似乎并不是一个官方数据集，因此我无法确定其准确的时间信息。不过，通过搜索发现这个数据集可能是由一个名为Data Society的网站发布的，数据集的发布时间应该是在2017年左右...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Thomas_Cai

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值