没有足够的值_WOE与IV值浅谈

最新推荐文章于 2021-08-13 11:18:20 发布
最新推荐文章于 2021-08-13 11:18:20 发布
阅读量494 收藏 2
点赞数
文章标签： 没有足够的值
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39622150/article/details/111369520
版权
本文介绍了WOE（Weight of Evidence）和IV（Information Value）的概念及其在信用评分卡、变量筛选和逻辑回归中的作用。WOE用于衡量各变量分箱对目标变量的预测能力，IV值则用于评价变量的整体预测能力。文章详细阐述了WOE的计算方法，强调了分箱的重要性，并讨论了WOE编码的优势和缺点。同时，还提及了IV值作为选择变量的标准及其与PSI的关系。
摘要由CSDN通过智能技术生成

把最近看到的WOE与IV的资料做一个简单的整理

计算WOE（weight of evidence）证据权重和IV值的意义是

（1）IV值可以衡量各变量对y的预测能力，用于筛选变量。

（2）对离散型变量，woe可以观察各个level间的跳转对odds的提升是否呈线性，而IV可以衡量变量整体（而不是每个level）的预测能力

（3）对连续型变量，woe和IV值为分箱的合理性提供了一定的依据。

（4）用woe编码可以处理缺失值问题。

一、WOE的计算方式

其中

是第i箱中坏客户的人数

是第i箱中好客户人数

是总共坏客户人数

总共好客户人数

实质上WOE表示的是当前分箱中好坏客户的各自占总的好坏客户比例的差异

如果WOE的绝对值越大，这种差异就越明显，绝对值越小就表明差异不明显。如果WOE为0，则说明该分箱中好坏客户比例等于随机坏客户和好客户比值，此时这个分箱就无预测能力

用年龄作为计算WOE的例子，先统计不同层的好坏客户数量

c758b15c78c31500b7d7b1b4c81457cb.png

计算各层好坏客户比例（相对于总体好坏客户的比例）

最低0.47元/天 解锁文章
weixin_39622150
关注
IV值与WOE-二元分类特征的选择
没人关注
02-26 1133
一、应用场景 WOE(weight of evidence)和IV（Information Value）主要用来判断变量的预测强度，比如判断用户收入对用户是否会发生逾期的预测强度。因此，两个值的使用主要是在有监督的分类问题中，具体可以细化到如下方面： 指导变量离散化。 在建模过程中，时常需要对连续变量进行离散化处理，如将年龄进行分段。但是变量不同的离散化结果（如：年龄分为［0-20］还是［0-15...
WOE评分卡--WOE理论
zhengcaihua0的博客
04-13 1808
1、评分卡概述最常见的用于信用评分的模型就是logistic回归，这是一种处理二分类因变量的广义线性模型。这种模型的理论基础比较扎实，但是对于不同的问题当然也存在一些特殊的处理方式.由于制作评分卡的某些需要，通常会在建立评分模型时将自变量做离散化处理（等宽切割，等高切割，或者利用决策树来切割），但是模型本身没办法很好地直接接受分类自变量的输入，因此需要对自变量进行再次的处理。比较常规的做法有两种：...
信用评分卡（WOE和IV值）_补
weixin_41636030的博客
05-16 3880
客户生命周期：用来描述客户接受不同产品或服务时所要经历的阶段，包括考虑阶段，购买阶段，购买后行为阶段 顾客终身价值：客户在未来整个客户生命周期中产生的总价值，CLV可以作为衡量客户关系水平的一个指标 客户信息：用于客户分析， 客户分析的目的是找到一个准确视角来制定策略，从而最优化的获取和保留客户，定义高价值客户 描述信息：客户的基本属性信息，如性别，年龄， 地理位置和收入等 行为信息：客户行...
特征性能评估指标-----Information Value
On_theway10的博客
01-30 3552
参考链接:http://ucanalytics.com/blogs/information-value-and-weight-of-evidencebanking-case/ IV值与特征重要性的参考表 +--------------------+-------------------------+ | iv_range | desc ...
【数据建模 WOE编码】WOE(weight of evidence, 证据权重)
赖德发的博客
11-01 1万+
WOE(weight of evidence, 证据权重)一种有监督的编码方式,将预测类别的集中度的属性作为编码的数值优势 　　将特征的值规范到相近的尺度上。 　　(经验上讲,WOE的绝对值波动范围在0.1~3之间)。 　　具有业务含义。 　　 缺点 　　需要每箱中同时包含好、坏两个类别。
cal_woe_iv.py
09-12
本工具主要是在建模时，对原始变量的值做woe转换，以减小模型训练时的过拟合
R语言WOE与IV值计算函数
12-04
R语言的WOE和IV批量计算实现，运行代码后根据注释中的参数描述调用函数即可
python自动分箱,计算woe,iv的实例代码
09-18
其中，\( p_i \)是第i个分箱在整个样本中的比例，\( WOE_i \)是第i个分箱的WOE值，B是总分箱数。 在Python中，可以使用`woe`包来实现自动分箱和计算WOE、IV。首先，确保已经通过`pip install woe`命令安装了这个包...
python计算iv值_python计算IV值
weixin_39615984的博客
12-22 765
1. 代码基于jupyter notebook#导包import numpy as npimport mathimport pandas as pdfrom sklearn.utils.multiclass import type_of_targetfrom scipy import stats#求woe值和iv值def woe(X, y, event):res_woe = [] #列表存放wo...
python woe分箱_python自动分箱,计算woe,iv的实例代码
weixin_40002846的博客
02-19 2006
笔者之前用R开发评分卡时，需要进行分箱计算woe及iv值，采用的R包是smbinning,它可以自动进行分箱。近期换用python开发， 也想实现自动分箱功能，找到了一个woe包，地址https://pypi.org/project/woe/，可以直接 pip install woe安装。由于此woe包官网介绍及给的例子不是很好理解，关于每个函数的使用也没有很详细的说明，经过一番仔细探究后以此文记...
数据挖掘模型中的IV和WOE详解
热门推荐
一些杂七杂八的想法
03-02 25万+
1.IV的用途 IV的全称是Information Value，中文意思是信息价值，或者信息量。 我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？ 挑选入模变
用信息值进行特征选择(Information Value)
weixin_30545285的博客
11-29 3817
Posted by c cm on January 3, 2014 特征选择（feature selection）或者变量选择(variable selection)是在建模之前的重要一步。数据接口越来越多的今后，数据集的原始变量、衍生变量会越来越多，如何从中选取subset适用到模型之上在实际数据应用中十分重要。 信息值information value用来做特征选择最常用在计...
R语言基于信息价值IV（Information Value）和证据权重WOE（Weights of Evidence）进行特征筛选（feature selection）
data+scenario+science+insight
08-13 773
R语言基于信息价值IV（Information Value）和证据权重WOE（Weights of Evidence）进行特征筛选（feature selection） 对一个学习任务来说，给定属性集，有些属性很有用，另一些则可能没什么用。这里的属性即称为“特征”(feature)。对当前学习任务有用的属性称为“相关特征”(relevant feature)、没什么用的属性称为“无关特征”(irrelevant feature)。从给定的特征集合中选择出相关特征子集的过程，即“特征选择”(featur
woe分析_WOE(证据权重)为何这样计算？
weixin_39712969的博客
12-21 1658
更多大数据分析、建模等内容请关注公众号《bigdatamodeling》先简单回顾一下WOE的含义。假设x是类别变量或分箱处理过的连续变量，含R个类别或分段，取值为{C1, ..., Cr, ..., CR}；y是目标变量，取值为0(Good)或1(Bad)。x和y的频数表如下：1、概念回顾先简单回顾一下WOE的含义。假设x是类别变量或分箱处理过的连续变量，含R个类别或分段，取值为{C1, ......
python分箱处理_python数据处理--WOE分箱
weixin_39940425的博客
12-10 1496
数据分箱的重要性离散特征的增加和减少都很容易，易于模型的快速迭代；稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展；离散化后的特征对异常数据有很强的鲁棒性：比如一个特征是年龄>30是1，否则0。如果特征没有离散化，一个异常数据“年龄300岁”会给模型造成很大的干扰；逻辑回归属于广义线性模型，表达能力受限；单变量离散化为N个后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型...
IV值小结
bitcarmanlee的博客
08-09 4835
0 引言 在金融场景中，IV值是一个经常用来衡量特征强弱的指标。IV值如果比较大，说明该特征的区分度比较强，如果IV值比较小则说明特征的区分度比较弱。正因为有该性质，所以IV值经常用来进行特征选择。 1.WOE 在介绍IV值之前，需要先介绍一下WOE WOE, Weight Of Evidence，直译过来就是证据权重。WOE是对原始变量的一种编码方式。计算的具体步骤主要包括两步 1.对变量分组，一般的方式为分箱或者离散化处理。比如常见的分箱方法有等频分箱，等高分箱等。 2.分箱以后，对于第i组，计算该组的
建模常用的概念介绍1： WOE、IV
乐想屋
12-12 1万+
为了挑选并构造出对目标变量有较高预测力的自变量，需要对变量进行WOE编码，通过IV值的看变量的贡献。1、WOE(weight of Evidence 证据权重)    1）解释及公式    WOE是对原始自变量的一种编码形式。    要对一个变量进行WOE编码，需要首先把这个变量进行分组处理/离散化处理（等宽切割，等高切割，或者利用决策树来切割）。分组后，对于第i组，WOE的计算公式如下：
关于特征筛选中的IV值
weixin_30484247的博客
05-28 1243
1 IV的用途 IV的全称是InformationValue，中文意思是信息价值，或者信息量。 我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？ 挑选入模变量过...
分计算iv值_数据分析变量选择--IV值计算
weixin_39782433的博客
12-23 606
在进行数据分析和机器学习之前，我们通常的做法，需要选择变量，但在实际业务场景中，变量的个数有可能很多，其中包含连续变量和非连续变量(离散变量)，同时也需要将这些自变量和因变量的关联程度在进行分析前，做个初步的了解。1.为什么需要将连续变量调整为离散变量？在机器学习过程中，经常会将连续变量离散化，主要是基于以下的考虑：(1)离散特征的增加和减少都很容易，易于模型的快速迭代；(2)稀疏向量内积乘法运算...
klearn特征分箱、woe值iv值计算代码
最新发布
06-07
好的，下面是sklearn特征分箱、woe值iv值计算的代码示例： 特征分箱： ``` python from sklearn.preprocessing import KBinsDiscretizer # 实例化KBinsDiscretizer est = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='uniform') # 使用fit_transform进行特征分箱 X_binned = est.fit_transform(X) ``` 其中，n_bins指定分箱的数量，encode指定分箱后的编码方式，strategy指定分箱的策略，这里使用的是等宽分箱。 WOE值、IV值计算： ``` python from sklearn.feature_selection import mutual_info_classif # 使用mutual_info_classif计算IV值 iv_values = mutual_info_classif(X_binned, y, discrete_features=True) # 计算WOE值 woe_values = np.log((bin_bad / bad_total) / (bin_good / good_total)) ``` 其中，X_binned是经过特征分箱后的数据，y是标签，discrete_features=True指定输入的特征是离散的。 希望这些代码可以帮到你！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值