python评分卡建模-实现WOE编码及IV值计算

最新推荐文章于 2024-05-14 18:18:33 发布
最新推荐文章于 2024-05-14 18:18:33 发布
阅读量2.5k 收藏 18
点赞数 1
分类专栏： 风控-评分卡
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoxiaoniaoer1/article/details/103675839
版权
本文介绍如何使用Python对连续变量进行WOE编码和计算IV值，以UCI信用卡逾期数据集为例，展示了分箱、计算WOE和IV值的过程。年龄变量通过卡方分箱算法进行分箱，得出的IV值为0.023，表明其预测能力较弱。
摘要由CSDN通过智能技术生成

在往期的文章中，小编多次写到过WOE和IV值的内容，也贴过相关的SAS代码，感兴趣的同学可以翻阅历史消息。这篇文章就不多介绍WOE及IV值的概念，主要讲讲怎么用python实现WOE编码和IV值的计算。

代码

实例

下面用UCI信用卡逾期数据集介绍一下以上代码的用法。

数据集如下：

数据集有20多个变量，其中响应变量是 'default payment next month'，为了方便，将其改名为 'y'。

最低0.47元/天 解锁文章
慢爬小蜗牛
关注
专栏目录
python最优分箱计算iv值_基于sklearn决策树的最优分箱与IV值计算-Python实现
weixin_39993454的博客
12-11 2758
一、问题描述：在实际建模问题中，衍生加工许多特征变量之后，一般而言，首先需要对衍生变量的预测能力做一个快速、初步的评估。针对二分类问题，如信贷风险模型的好坏客户预测与评分，我们一般用IV值(Information Value)来衡量特征变量的预测能力，然后再筛选出IV值高于某个阈值的一篮子特征来进行下一步的建模工作。为了计算某个变量的IV，首先需要对其进行分箱。如果强制变量分箱的WOE单调性，这样...
python 分类变量编码_python评分卡之woe编码
weixin_39842237的博客
12-09 979
1.连续变量离散化后重新编码def replace_woe(series,cut,woe):list=[]i=0while ivalue=series[i]j=len(cut)-2m=len(cut)-2while j>=0:if value>cut[j]: # 有的代码写的是“>=”，但实际转换后发现有的变量出现错误j=-1else:j -=1m -= 1list.appe...
WOE、VI及Python代码实现
wyl2289的博客
08-24 9541
IV的全称是Information Value，中文意思是信息价值，或者信息量。 我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？ 挑选入模变量过程是个比较复杂的过...
Python woe 0.0.7 源码解析
wuhuaiyu的专栏
09-30 4107
Python woe 0.0.7 源码解析
转：Python数据分箱，计算woe，iv
纸上得来终觉浅
12-22 4033
转自：https://zhuanlan.zhihu.com/p/38440477 数据分箱的重要性及优势： 离散特征的增加和减少都很容易，易于模型的快速迭代； 稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展； 离散化后的特征对异常数据有很强的鲁棒性：比如一个特征是年龄>30是1，否则0。如果特征没有离散化，一个异常数据“年龄300岁”会给模型造成很大的干扰； 逻辑回归属于广义线性模型，表达能力受限；单变量离散化为N个后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型表达
python评分卡建模_智能风控：Python金融风险管理与评分卡建模
weixin_39637921的博客
12-14 1318
推荐序前言章信用管理基础/11.1信用与管理/21.2风控术语解读/31.2.1信贷基础指标/41.2.2信贷风险指标/51.3企业信贷风控架构/71.4本章小结/10第2章评分卡/112.1评分卡概念/122.1.1适用客群/132.1.2用途/142.2建模流程/152.3模型设计/16推荐序前言章信用管理基础/11.1信用与管理/21.2风控术语解读/31.2.1信贷基础指标/41.2.2信...
基于Python进行申请评分卡的数据清洗、建模分析项目源码+数据集.zip
09-22
对Kaggle上的Give Me Some Credit的数据进行挖掘分析，从数据的预处理（主要缺失值和异常值的处理）、数据分析（特征变量的选择、分箱、WOE、IV）、数据建模（逻辑回归模型，集成算法）、创建信用评分卡到建立自动...
Python量化金融-Python金融实务应用与数据分析课程 python课程4.2-信用评分卡 共24页.pdf
02-26
这门课程深入讲解了如何利用Python进行信用评分的全过程，包括数据预处理、探索性分析、WOE值计算以及逻辑回归（LR）建模。 首先，信用风险是金融活动中必须关注的关键因素，它指的是借款人未能按照约定偿还债务的...
python自动分箱,计算woe,iv的实例代码
09-18
今天小编就为大家分享一篇python自动分箱,计算woe,iv的实例代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
机器学习模型特征筛选IV值计算
02-23
本pdf简要精辟的介绍了IV值理论，做特征筛选时能够高效的计算IV值
WOE和IV理论及python实现
xudonglovedandan的博客
03-23 1110
WOE和IV理论 1.WOE WOE的全称是“Weight of Evidence”，即证据权重。WOE是对原始自变量的一种编码形式，计算公式如下： 其中，pyi是这个组中响应客户（风险模型中，对应的是违约客户，总之，指的是模型中预测变量取值为“是”或者说1的个体）占所有样本中所有响应客户的比例，pni是这个组中未响应客户占样本中所有未响应客户的比例，#yi是这个组中响应客户的数量，#ni是这个...
【Python】理解WOE（Weight of Evidence）和IV（Information Value）
最新发布
2333333
05-14 850
忠孝东路走九遍脚底下踏著曾经你我的点点我从日走到夜心从灰跳到黑我多想跳上车子离开伤心的台北忠孝东路走九遍穿过陌生人潮搜寻你的脸有人走的匆忙有人爱的甜美谁会在意擦肩而过的心碎🎵 动力火车《忠孝东路走九遍》在信用评分和风险管理领域，WOE（Weight of Evidence）和IV（Information Value）是两种常用的特征选择和评估方法。这些方法有助于我们理解每个特征对目标变量（如好坏客户）的区分能力。
python woe分箱_python自动分箱,计算woe,iv的实例代码
weixin_40002846的博客
02-19 2006
笔者之前用R开发评分卡时，需要进行分箱计算woe及iv值，采用的R包是smbinning,它可以自动进行分箱。近期换用python开发， 也想实现自动分箱功能，找到了一个woe包，地址https://pypi.org/project/woe/，可以直接 pip install woe安装。由于此woe包官网介绍及给的例子不是很好理解，关于每个函数的使用也没有很详细的说明，经过一番仔细探究后以此文记...
woe和IV实际实例解说 (python代码拿走）
niujinya的博客
09-18 1662
一.介绍 对于woe和IV，简单来说就是用来进行特征选择的方法，我做了两个例子来简单说明一下，例子的代码放到了文章的最后。如果你想看看原理：(你就想求IV和woe，可以直接看例子，跑代码)https://blog.csdn.net/niujinya/article/details/120330215?spm=1001.2014.3001.5501 二.银行例子（寻找和标签关联最高的特征） 首先最简单的示例，也是一般官方提供的，我这里展示一下数据： 可以看出既有文字，也有数字。这里呢如果你有相似.
评分卡中WOE和IV详解 Python实现
u010654299的博客
01-05 7520
  信用评分卡模型是信用风险评估中普遍使用的模型，而在模型建立过程中，一般采用WOE(Weight Of Evidence 证据权重)对自变量进行编码，并根据IV(Information Value 信息量)作为变量筛选指标。 1 WOE   WOE(Weight Of Evidence 证据权重)是一种对自变量编码的方法，需注意的是在WOE编码前需对数据进行分箱（分组或离散化）操作。 具体而言，...
Python构建xgboost模型-特征分箱、WOE转换、IV值计算
up_learning的博客
01-21 1434
IV值主要表示特征的预测能力，判断特征重要性的，因为做完特征工程后，会衍生出很多特征，有的变量是没用的，或者说对模型贡献非常非常小，所以我们需要筛选最重要的特征。1、可以提高模型的性能：根据公式以每一箱中的相对全体的log odds的超出作为编码依据，能够提高模型的预测精度，同时公式也符合LR的思想。如入模特征异常大时，分箱后只是作为一个类别入模，如果将值直接入模，则会对模型造成较大的干扰。2、分层抽样中的WOE不变性：如果建模需要对好坏样本进行分层抽样，则抽样后计算的WOE与没分层计算的WOE是一致的。
信用模型中对于类别变量的编码方式：dummy编码和WOE编码
12-11 4325
最常见的用于信用评分的模型就是logistic回归，这是一种处理二分类因变量的广义线性模型。这种模型的理论基础比较扎实，但是对于不同的问题当然也存在一些特殊的处理方式，我最大的困惑就在于建模时对分类自变量的处理方法。 由于制作评分卡的某些需要，通常会在建立评分模型时将自变量做离散化处理（等宽切割，等高切割，或者利用决策树来切割），但是模型本身没办法很好地直接接受分类自变量的输入，因此需要对自
信用评分卡模型开发及评估指标
xiaoxiaoniaoer1的专栏
12-25 2840
版权声明：本文为博主原创文章，未经博主允许不得转载。 一、信用风险评级模型的类型 信用风险计量体系包括主体评级模型和债项评级两部分。主体评级和债项评级均有一系列评级模型组成，其中主体评级模型可用“四张卡”来表示，分别是A卡、B卡、C卡和F卡；债项评级模型通常按照主体的融资用途，分为企业融资模型、现金流融资模型和项目融资模型等。 A卡，又称为申请者评级模型，主要应用于相关融资类业务中新用户的主体...
Python计算iv值和woe代码
06-12
WOE编码和IV值是一种常用的特征工程方法，它们可以用于衡量一个特征与目标变量之间的关联程度和预测能力。下面是Python计算IV值和WOE编码的示例代码： ```python import pandas as pd import numpy as np def calc_woe_iv(df, col, target): """ 计算指定特征的WOE编码和IV值 :param df: 数据集 :param col: 特征列名 :param target: 目标变量列名 :return: WOE编码和IV值 """ # 计算该特征每个取值的数量和占比 freq = pd.DataFrame({'total': df.groupby(col)[target].count(), 'bad': df.groupby(col)[target].sum()}) freq['good'] = freq['total'] - freq['bad'] freq['bad_rate'] = freq['bad'] / freq['bad'].sum() freq['good_rate'] = freq['good'] / freq['good'].sum() # 防止出现除0错误 freq.loc[freq['bad_rate'] == 0, 'bad_rate'] = 0.0001 freq.loc[freq['good_rate'] == 0, 'good_rate'] = 0.0001 # 计算WOE编码 freq['woe'] = np.log(freq['good_rate'] / freq['bad_rate']) # 计算IV值 freq['iv'] = (freq['good_rate'] - freq['bad_rate']) * freq['woe'] iv = freq['iv'].sum() return freq[['woe', 'iv']].reset_index().rename(columns={col: 'value'}), iv ``` 这个函数的输入参数包括数据集`df`、特征列名`col`和目标变量列名`target`，输出WOE编码和IV值。在函数中，我们首先计算了该特征每个取值的数量、坏样本数量、好样本数量、坏样本率、好样本率和WOE值，然后根据IV值的公式计算了每个取值对应的IV值，并将它们相加得到总的IV值。最后，我们将WOE编码和IV值合并成一个DataFrame并返回。 需要注意的是，代码中为了避免出现除0错误，我们在计算WOE编码和IV值时对分母加上了一个极小值0.0001。同时，WOE编码和IV值的计算方式可以根据具体的业务需求进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值