基于Xgboost + LR + Keras 建模评估用户信用状态

最新推荐文章于 2024-05-26 20:30:19 发布
最新推荐文章于 2024-05-26 20:30:19 发布
阅读量1.6w 收藏 49
点赞数 3
分类专栏： 数据挖掘 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010414589/article/details/52106729
版权

  1. 项目背景
    拍拍贷“魔镜风控系统”基于400多个数据维度来对当前用户的信用状态进行评估，通过历史数据每个借款人的性别、年龄、籍贯、学历信息、通讯方式、网站登录信息、第三方时间信息等用户信息以及对应的分类标签，在此基础上结合新发标的用户信息，得到用户六个月内逾期率的预测，为金融平台提供关键的决策支持。

  2. 数据格式
    数据下载–点这里
    这里面包含三期数据，每期数据内容和格式相同，这里面包括两部分信息：
    一部分是Master
    PPD_dat_1.csv
    PPD_dat_2.csv
    PPD_dat_3.csv
    这里写图片描述
    一部分是Log info
    PPD_daht_1_LogInfo.csv PPD_daht_2_LogInfo.csv PPD_daht_3_LogInfo.csv
    这里写图片描述
    一部分是Update info
    PPD_daht_1_Userupdate.csv
    PPD_daht_2_Userupdate.csv
    PPD_daht_3_Userupdate.csv
    这里写图片描述

3. 问题思路

数据清洗

  • 对数据的合并：要把几次的数据合并到一起；要把主表和日志表合并在一起；要把训练集和测试集合并在一起。
  • 对字符空格的转换：存在着汉字和英文字符，需要转换成数值形式；存在着数据表达不统一的情况，比如北京和北京市，QQ和Qq，以及多空格等情况。
    • 对LogInfo与UserupdateInfo 日期信息的处理等：历史记录相对于主表的主要差异在于对于每个index的各项信息，主表是按列汇总，而历史记录是按行堆叠，因此将历史记录按index 分组，将各行信息汇总到各列上，使得各个index 对应唯一一行以与主表连接。此外，对每笔贷款的历史记录中的时间信息，通常其起始时间和登陆/更新信息的总频率对衡量借款人的行为较为重要。

数据摘要

  • 它的作用是简化并理解数据特征，主要包括了变量的类型、变量空值/非空值数据、变量频数前五的值与对应数量、其他值的数量、数字变量的统计量（均值、方差、四分位数）

特征工程

  • 数值特征的保留与非数值特征的转换：有额外信息的非数值变量转化为对应的数值：时间–>年月日周、相对天数，地名–>经纬度和城市等级，定序变量–>序数；其他非数值变量全部0-1哑变量处理。
  • 选取统计量概况一系列相似变量：取中位数、方差、求和、最值、空值树等概况各时期第三方信息、几个城市变量信息等，统计量尽量要相互独立
  • 删
最低0.47元/天 解锁文章
行路南
关注
  • 3
    点赞
  • 踩
  • 49
    收藏
    觉得还不错? 一键收藏
  • 14
    评论
专栏目录
【实践】CTR中xgboost/gbdt +lr
一寒惊鸿
06-26 3万+
自学习CTR预估中GBDT与LR融合方案 ，有意用简单暴利的python实现一版GBDT/XGboost做特征选择，融合LR进行CTR的代码demo。 1. GBDT + LR python3.5.3 + scikit-learn0.18.1 from scipy.sparse.construct import hstack from sklearn.model_select...
xgboost keras_用catboost lgbm xgboost和keras预测财务交易
weixin_26705191的博客
08-20 755
xgboost kerasThe goal of this challenge is to predict whether a customer will make a transaction (“target” = 1) or not (“target” = 0). For that, we get a data set of 200 incognito variables and our su...
RF, GBDT和Xgboost构造新特征+LR融合的原理及实践
anshuai_aw1的博客
10-09 1万+
关于Xgboost的知识点很多，本篇博客介绍如何利用Xgboost构造新特征，且在此基础上，介绍与LR模型融合的相关知识点。 目录 一、原理 二、实践 2.1 如何获得样本落在哪个叶子节点 2.2 举例 2.2.1 训练集准备 2.2.2 RF+LR 2.2.3 GBDT+LR 2.2.4 Xgboost+LR 2.2.5 单独使用RF,GBDT和Xgboost 2.2.6 ...
xgboost项目实战-保险赔偿额预测与信用卡评分预测001
游泳的鱼的专栏
05-26 1025
xgb.train 函数是用于训练模型的主要函数之一。它允许你手动指定模型的各种参数，以定制化地训练 XGBoost 模型。
【lightgbm/xgboost/nn代码整理三】keras做二分类，多分类以及回
QLMX
08-30 1286
【lightgbm/xgboost/nn代码整理三】keras做二分类，多分类以及回归任务 1.简介 该部分是比较基础的深度网络部分，是基于keras实现的多层感知机网络(mlp)，使用nn个人感觉最大的一个好处就是目标函数自定义很方便，下面将从数据处理、网络搭建和模型训练三个部分介绍。如果只是想要阅读代码，可直接移步到尾部链接。 2. 数据处理 神经网络对数据的要求比较多，不能处理缺失值，并且数...
[机器学习] 模型融合GBDT(xgb/lgbm/rf)+LR 的原理及实践
热门推荐
摩登都市天空---专栏
01-23 1万+
目录 一、原理 GBDT + LR 是什么,用在哪 二、说明 GBDT + LR 的结构 RF + LR ? Xgb + LR? GBDT + LR 模型提升 三、实践 1 如何获得样本落在哪个叶子节点 2 举例 2.2.1 训练集准备 2.2.2 RF+LR 2.2.3 GBDT+LR 2.2.4 Xgboost+LR 2.2.5 单独使用RF, GBDT和Xgbo...
XGBoost+LR融合
10-14 329
当一个样本点通过某棵树最终落在这棵树的一个叶子结点上，那么在新特征向量中这个叶子结点对应的元素值为1，而这棵树的其他叶子结点对应的元素值为0。下图为混合模型结构。而决策树是一种树形结构，又称为判定树，是运用于分类的一种树结构，其中的每个内部节点代表对某一属性的一次测试，每条边代表一个测试结果，叶节点代表某个类或类的分布。”所以如何更有效的提取有效的特征是机器学习中的一个hotspot，例如近几年来大火的深度学习方法中神经网络的层数不断增加其实质也是在探索如何更好地从原始数据中得到更为有效的特征表达。
【机器学习】Python-Tensorflow、Keras、Xgboost的安装（Anaconda百分百实现！Python3.9！）
m0_56120502的博客
12-19 2385
别看别的了，看up的！百分百安装好，安装不好私信up，Win10 x64 anaconda官网最新版（适配python3.9）
基于opencv+python+Adaboost算法基于Keras搭建CNN卷积神经网络结实现对视频中人脸的实时检测识别
03-18
基于opencv+python+Adaboost算法基于Keras搭建CNN卷积神经网络结实现对视频中人脸的实时检测识别，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于opencv+...
基于opencv+keras+python实现的人脸识别系统
最新发布
06-04
利用 opencv+keras+python 实现人脸识别系统 ### code structure ``` data retreiving -+ | +cut_files.py 删除冗余的训练图片素材 | +get_images.py 获取不同人名对应的图片，并将其保存 | +get_names.py ...
用Numpy、Scipy、pandas、Scikit-Learn、XGBoost、Tensorflow、Keras入门数据科学
04-07
用Numpy、Scipy、pandas、Scikit-Learn、XGBoost、Tensorflow、Keras入门数据科学,Data Science with Python explained.
在keras下实现多个模型的融合方式
09-16
主要介绍了在keras下实现多个模型的融合方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
基于python3.6 + opencv + keras + numpy + PIL的实时手势识别系统
06-03
基于Opencv+keras的实时手势识别系统，准确率约96%，可录制数据集。 python3.6 + opencv + keras + numpy + PIL 运行"录制手势.py"，点击opencv的窗口, 如果发现背景不够干净可以通过键盘按'b'重置背景. 键盘按...
python3 + tensorflow2 + keras基于VGG+Resnet50模型融合的多种强度频率干扰图像分类项目源码
02-23
python3 + tensorflow2 + keras基于VGG+Resnet50模型融合的多种强度频率干扰图像分类项目源码 介绍 基于多模式频率干扰的模型融合图像分类 ，模型使用了Resnet50,VGG16,VGG+Resnet50三个进行消融实验，最后VGG+...
基于python+Django+keras深度学习+opencv+tensorflow开发的人脸识别系统+源码（毕设课设&项目）
04-09
基于python+Django+keras深度学习+opencv+tensorflow开发的人脸识别系统+源码，适合毕业设计、课程设计、项目开发。项目源码已经过严格测试，可以放心参考并在此基础上延申使用~ 基于python+Django+keras深度学习+...
XGBoost+LR融合方案
Jie Qiao的专栏
09-15 8560
Xgboost+LR融合方案这是14年,facebook提出的一种融合方法。他的核心思想是将boosting看作是一个将样本进行非线性变换的方法。对于连续的特征：一个简单的非线性变化就是将特征划分到不同的区域(bin)，然后再将这些区域的编号看作一个离散的特征来进行训练。这也就是俗称的连续变量离散化方法，这有非常多的方法可以完成这项事情。对于离散的特征：我们可以直接对特征做一个笛卡尔积从而得到一系列
xgb, lgb, Keras, LR(二分类、多分类代码)
dili8870的博客
10-06 2694
preprocess # 通用的预处理框架 import pandas as pd import numpy as np import scipy as sp # 文件读取 def read_csv_file(f, logging=False): print("==========读取数据=========") data = pd.read_csv(f) ...
xgboost（R语言实现）
qq_51165184的博客
03-13 1万+
xgboost（R语言实现）
写一下EEMD+XGBoost+LightGBM+LSTM代码
05-21
这是一个比较复杂的机器学习模型融合的代码，需要很多前置知识和数据预处理，以下是一些伪代码： 1. 数据预处理 首先需要准备好数据集，将其分成训练集和测试集，并进行特征提取和降维等操作。 2. EEMD 对于每个样本，使用 EEMD（经验模态分解）方法对其进行信号分解，得到若干个 IMF（固有模态函数），并将其作为输入特征。 3. XGBoost 使用 XGBoost 模型对 EEMD 提取的特征进行训练和预测。以下是一些伪代码： ```python import xgboost as xgb # 训练集数据和标签 X_train, y_train = ... # 测试集数据和标签 X_test, y_test = ... # 定义 XGBoost 模型 model_xgb = xgb.XGBRegressor( max_depth=5, learning_rate=0.1, n_estimators=100, objective='reg:linear', ) # 训练模型 model_xgb.fit(X_train, y_train) # 预测结果 y_pred_xgb = model_xgb.predict(X_test) ``` 4. LightGBM 使用 LightGBM 模型对 EEMD 提取的特征进行训练和预测。以下是一些伪代码： ```python import lightgbm as lgb # 训练集数据和标签 X_train, y_train = ... # 测试集数据和标签 X_test, y_test = ... # 定义 LightGBM 模型 model_lgb = lgb.LGBMRegressor( max_depth=5, learning_rate=0.1, n_estimators=100, ) # 训练模型 model_lgb.fit(X_train, y_train) # 预测结果 y_pred_lgb = model_lgb.predict(X_test) ``` 5. LSTM 使用 LSTM 模型对原始数据进行训练和预测。以下是一些伪代码： ```python from keras.models import Sequential from keras.layers import LSTM, Dense # 训练集数据和标签 X_train, y_train = ... # 测试集数据和标签 X_test, y_test = ... # 定义 LSTM 模型 model_lstm = Sequential() model_lstm.add(LSTM(50, input_shape=(X_train.shape[1], X_train.shape[2]))) model_lstm.add(Dense(1)) model_lstm.compile(loss='mse', optimizer='adam') # 训练模型 model_lstm.fit(X_train, y_train, epochs=100, batch_size=64, verbose=0) # 预测结果 y_pred_lstm = model_lstm.predict(X_test) ``` 6. 模型融合 将 XGBoost、LightGBM 和 LSTM 预测的结果进行加权平均或者其他方式的融合，得到最终的预测结果。以下是一些伪代码： ```python # 加权平均融合 y_pred = (0.5 * y_pred_xgb) + (0.3 * y_pred_lgb) + (0.2 * y_pred_lstm) ``` 这只是一个简单的示例，实际上还需要进行更多的数据预处理和模型调参等操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值