IV值的计算逻辑

最新推荐文章于 2022-08-15 21:18:08 发布
最新推荐文章于 2022-08-15 21:18:08 发布
阅读量5.7k 收藏 5
点赞数 1
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mikefei007/article/details/105537167
版权
博客探讨了在建模中衡量变量预测能力的IV值指标，根据IV值的范围将其分为无、弱、中、强和超强预测能力。IV值的计算涉及了好用户与坏用户在不同分箱中的比例。提供了Python和Excel实现IV值计算的逻辑。
摘要由CSDN通过智能技术生成

       在建模的时候，我们对会单个变量的预测能力进行预测，主要使用IV值这个指标，IV值的预测能力如下：

           IV<=0.02 : 无预测能力；

          0.02 - 0.1 ：弱预测能力；

          0.1 - 0.3 ：中预测能力；

          0.3 - 0.5 ：强预测能力；

          大于0.5的为超强预测能力；

       IV值的计算公式：

          IV = (Pgood_section_total - Pbad_section_total) * log( (Pgood_section/P_bad_section) / (Pgood_total/Pbad_total) ) )

        Pgood_section_total:分箱好用户与整体好用户比值；

        Pbad_section_total：分箱坏用户与整体坏用户比值；

        Pgood_section：分箱好用户与该分箱整体比值；

        Pbad_section：分箱坏用户与该分箱整体比值；

        Pgood_total：

最低0.47元/天 解锁文章
平凡的世界fei
关注
专栏目录
ML之FE：IV值/IV信息量(Information Value)指标(衡量变量的预测能力)的简介、计算逻辑、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-16 2059
IV，Information Value，信息价值，信息量，用来表示变量对目标预测的贡献程度，也就是预测能力。该指标经常被用在评分卡模型中进行筛选变量。变量的IV值越大，表示自该变量的预测能力越强。但是求IV值，需要先求WOE值，从计算WOE可知，该指标是用在有监督学习，且目标变量为。
python最优分箱计算iv值_信贷风控小知识——(5)分箱与变量分析
weixin_29955355的博客
01-29 1598
风控建模常用逻辑回归模型，模型的特征必须是数值型特征，因此需要对类别型特征进行编码；此外，为了获得模型的稳定性，建模时需要对数值型特征进行分箱处理。最终，对进入模型的特征还要做单变量与多变量分析。1、分箱简述1.1分箱定义(1)对于数值型变量，将数值范围分为几个有限的分段(2)对于类别型变量，如果取值过多，将其合并为较少的几个分段1.2分箱原因(1)评分结果需要稳定性，当样本数值型变量发生较小波动...
IV值计算及分箱
Baron_ND的博客
03-08 6800
1.离散的优势： （1）离散化后的特征对异常数据有很强的鲁棒性：比如一个特征是年龄&gt;30是1，否则0。如果特征没有离散化，一个异常数据“年龄300岁”会给模型造成很大的干扰； （2）逻辑回归属于广义线性模型，表达能力受限，单变量离散化为N个后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型表达能力，加大拟合； （3）离散化后可以进行特征交叉，由M+N个变量变为M*N个变量...
iv值计算（含qcut细节）
RUC_Lee的博客
10-22 3290
iv值计算（含qcut细节）1 背景2 含有重复的数据2.1 数据准备2.2 等频分组2.3 等频分组-加上去掉重复的值3 不含有重复的数据3.1 数据准备3.2 等频分组3.3 等频分组-加上去掉重复值4 iv计算4.1 读入数据4.2 iv值计算4.3 结果分析 1 背景 在计算woe以及相关的iv值的时候，需要首先对数据进行分箱，分箱一般采用qcut，即等频分组。 下面希望验证qcut（等频分组）-相同的值会在一组，即如果一组数据一半都是0，这些会被分在一组。 同时计算iv值并进行相关分析 2 含有重
IV值实现公式.xls
04-15
IV值计算逻辑；使用excel中的公式，对IV和woe值进行计算，可以有效的理解公式含义和实现逻辑；
R语言WOE与IV值计算函数
12-04
R语言的WOE和IV批量计算实现，运行代码后根据注释中的参数描述调用函数即可
分计算iv值_筛选变量的指标—IV值
weixin_39608457的博客
12-23 1059
这一期咱们聊聊筛选变量的指标——IV值。计算公式如下：看公式有没有很熟悉，大家没有看错，其中一部分就是WOE的计算公式。区别就在于WOE是对一个变量的每个分组的计算，IV值是对一个变量的统计指标。如上图所示，当前使用率的IV值为1.415。IV值的作用就是衡量一个变量整体的预测能力，好处在于每个变量的IV值是可比的。所谓的IV值（informationvalue），指的是一个变量对于判定客户属于y...
基于逻辑回归的传统申请评分卡建模（toad库）之IV值
WWWWW521321的博客
06-07 2173
之前那篇文章简单介绍了一下A卡的概念、A卡所需的数据类型以及一些简单的特征衍生。 当我们拿到数据后，在数据挖掘和数据建模过程中，需要用到一些评价指标，来评价你的工作结果。 先看特征筛选部分： 1、IV（Information Value）： (1)IV的用途 IV全称是Information Value,中文简称信息量或信息价值。 当我们用逻辑回归、决策树等模型对数据进行建模时，经常需要对特征进行筛选，那么在筛选入模变量时需要考虑哪些因素呢，需要考虑的因素有很多，比如，变量的预测能力、变量之间的相关性、变量
图示代码，轻松解决IV值计算问题（python）
weixin_38940048的博客
09-03 1万+
今天来讲一下IV值的计算问题 因本人从事风控建模行业，故不可避免需要明白IV值的整个今生前世，故此次来讲解IV值。 一、IV的定义及必备常见知识 IV是什么？全称是InformationValue，中文意思是信息价值，或者信息量。 那它有什么内在含义呢？网上公认的答案：变量的预测能力。且通常来讲，变量的IV值越高，则该变量的预测能力越强 这就对选取哪些x进行建模，起到了关键的作用了，但...
IV值和woe
w1753654213的博客
07-24 785
IV值和woe 1. 对IV的直观理解 从直观逻辑上大体可以这样理解“用IV去衡量变量预测能力”这件事情：我们假设在一个分类问题中，目标变量的类别有两类：Y1，Y2。对于一个待预测的个体A，要判断A属于Y1还是Y2，我们是需要一定的信息的，假设这个信息总量是I，而这些所需要的信息，就蕴含在所有的自变量C1，C2，C3，……，Cn中，那么，对于其中的一个变量Ci来说，其蕴含的信息越多，那么它对于判断A属于Y1还是Y2的贡献就越大，Ci的信息价值就越大，Ci的IV就越大，它就越应该进入到入模变量列表中。 你好！
机器学习模型特征筛选IV值计算
02-23
本pdf简要精辟的介绍了IV值理论，做特征筛选时能够高效的计算IV值
Python计算IV值的示例讲解
09-17
今天小编就为大家分享一篇Python计算IV值的示例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
分计算iv值_IV值的计算及使用
weixin_39625747的博客
12-23 1377
在机器学习的二分类问题中，IV值（Information Value）主要用来对输入变量进行编码和预测能力评估。特征变量IV值的大小即表示该变量预测能力的强弱。IV 值的取值范围是[0, 正无穷)，如果当前分组中只包含响应客户或者未响应客户时，IV = 正无穷。量化指标含义如下：< 0.02useless for prediction、0.02 to 0.1Weak predictor、0....
IV值
热门推荐
lingan_Hong的博客
08-30 2万+
评分模型开发主要分为变量处理、模型建立、评分转换、模型评估4个步骤。 其中在变量处理的时候涉及IV值和WOE值的计算。 基于抽样后得到训练样本集数据，由于变量数量通常较多，不推荐直接采用逐步回归的方法进行筛选。 由于各个变量的量纲和取值区间存在很大的差别，通常会对变量的取值进行分箱并计算 证据权重 WOE值(weight of evidence) ，从而降低变量属性的个数，并且平滑的变量的...
python 计算变量的IV值
chensq_yinhai的博客
07-09 6477
在机器学习的二分类问题中，IV值（Information Value）主要用来对输入变量进行编码和预测能力评估。特征变量IV值的大小即表示该变量预测能力的强弱，在面对大量变量的情况下，可计算各个变量的IV值，取IV值大于某个固定值的变量参与到模型中去，这样不仅保留了特征携带的信息量。且提高了模型效率，此外有利于给客户解释和汇报。 2. IV值计算（python 代码如下） #######...
客户流失预警模型的IV值计算
weixin_45451576的博客
08-15 471
客户流失预警模型的IV值计算
分计算iv值_算法篇-woe和iv详解
weixin_39599317的博客
12-23 1985
woe和iv最早来自金融界，主要用来计算自变量与因变量的相关性，在筛选变量、验证新变量的效果上有不错的效果，可以当做一个参考指标衡量变量所包含的信息量。1. 什么是woewoe是weight of evidence的简称，用来衡量自变量与因变量的相关性试想我们当前处理的是一个二分类问题共100条记录，一个自变量只有两个值v1, v2。v1有50条记录，其中40条对应label 1，另外10条对应l...
iv值
weixin_30664615的博客
07-04 94
https://blog.csdn.net/lingan_Hong/article/details/77718123 https://blog.csdn.net/goodhuajun/article/details/39582761 https://blog.csdn.net/kevin7658/article/details/50780391 转载于:https://www.cnblogs....
IV值小结
bitcarmanlee的博客
08-09 4934
0 引言 在金融场景中，IV值是一个经常用来衡量特征强弱的指标。IV值如果比较大，说明该特征的区分度比较强，如果IV值比较小则说明特征的区分度比较弱。正因为有该性质，所以IV值经常用来进行特征选择。 1.WOE 在介绍IV值之前，需要先介绍一下WOE WOE, Weight Of Evidence，直译过来就是证据权重。WOE是对原始变量的一种编码方式。计算的具体步骤主要包括两步 1.对变量分组，一般的方式为分箱或者离散化处理。比如常见的分箱方法有等频分箱，等高分箱等。 2.分箱以后，对于第i组，计算该组的
hive实现计算WOE和IV值
最新发布
10-22
Hive本身是一个数据仓库工具，并非专门用于统计建模或特征工程的软件。然而，在处理结构化的Hive表数据时，你可以通过编写自定义UDF（User-Defined Functions，用户自定义函数）来实现计算Weight of Evidence (WOE) 和 Information Value (IV)。 WOE是一种将分类变量转换为数值变量的技术，常用于离散化类别数据，有助于回归模型。IV则衡量了分类变量对连续因变量的影响程度，通常在二分类问题中使用。 以下是简单的步骤概述： 1. **创建UDF**: 使用Hive的`TMAPLE`或者`Python UDF`（如果你的Hive安装支持），编写一段可以计算WOE和IV的脚本。例如，对于Python UDF，你可以利用pandas库进行计算。 ```python from pyspark.sql.functions import udf import pandas as pd def calculate_woe_iv(feature_values, response_column): # ...在这里编写计算WOE和IV的具体逻辑 return woe_value, iv_value # 创建Udfs calculate_woe = udf(calculate_woe_iv, [StructType([StructField('feature', StringType(), True), StructField('response', StringType(), True)])]) ``` 2. **应用UDF**: 将这个UDF应用于你的Hive查询中，比如对每个类别和响应变量应用`calculate_woe`。 ```sql SELECT feature, response, calculate_woe(feature, 'response') AS (woe, iv) FROM your_table GROUP BY feature, response; ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

平凡的世界fei

你的鼓励是我创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值