学习记录633@python特征筛选之WOE值与IV值

最新推荐文章于 2023-01-20 00:10:44 发布
最新推荐文章于 2023-01-20 00:10:44 发布
阅读量596 收藏 4
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44663675/article/details/126681193
版权

在使用逻辑回归、决策树等模型算法构建分类模型时，经常需要对特征变量进行筛选。因为有时可能会获得100多个候选特征变量，通常不会直接把这些特征变量放到模型中去进行拟合训练，而是从这些特征变量中挑选一些放进模型，构成入模变量列表。那么该如何挑选入模变量呢？挑选入模变量需要考虑很多因素，如变量的预测能力、简单性（容易生成和使用）、可解释性等。其中最主要的衡量标准是变量的预测能力，对分类模型来说，即希望变量具有较好的特征区分度，可以较准确地将样本进行分类。WOE值和IV值就是这样的指标，它们可以用来衡量特征变量的预测能力，或者说特征变量的特征区分度，类似的指标还有基尼系数和信息增益

注意，只是针对二分类

WOE值

在这里插入图片描述
在这里插入图片描述

IV值

在这里插入图片描述

代码抽象出一个函数

用于计算IV值
在这里插入图片描述

教练 我想学编程
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python计算IV值的示例讲解
12-20
在对变量分箱后，需要计算变量的重要性，IV是评估变量区分度或重要性的统计量之一，python计算IV值的代码如下： def CalcIV(Xvar, Yvar): N_0 = np.sum(Yvar==0) N_1 = np.sum(Yvar==1) N_0_group = np.zeros(np.unique(Xvar).shape) N_1_group = np.zeros(np.unique(Xvar).shape) for i in range(len(np.unique(Xvar))): N_0_group[i] = Yvar[(Xvar == np.unique(X
干货 ：Python特征选择的总结
最新发布
2301_76161259的博客
06-15 443
在这种情况下可能会导致扭曲或误导的结果，为了解决这个问题，我们可以只保留一个特征，删除多余的特征，这样是不丢失任何信息的。这是相当大的数据量，这些数据通常包含了很多“噪声”，它对我们的ML工作没有任何的帮助，因此我们需要在ML训练发生之前验证数据的质量和适用性。包装器的方法是一种选择特征的更自动化的方式，我们将使用内置函数 SequentialFeatureSelector()实现前向选择，该函数是 mlxtend 库的一部分。当数据中包含未处理的分类特性时，Phik是非常好用的。**这是与1的相反方法。
python信用评分卡建模（附代码）
09-14
作者Toby，持牌照消费金融模型专家，发明金融模型算法专利，和中科院，清华大学，百度，腾讯，爱奇艺，同盾，聚信立等平台保持长期项目合作；与国内多所财经大学有模型项目。熟悉消费金融场景业务，包括现金贷，商品贷，医美，反欺诈等。擅长Python机器学习建模，对变量筛选，衍生变量构造，变量缺失率高，正负样本不平衡，共线性高，多算法比较，调参等有良好解决方法。原创公众号（python风控模型） 课程概述A级优质课，360度讲解python信用评分卡构建流程，解决个人信用评级和企业信用评级模型的难题。课程附python代码直接使用，支持老师答疑。算法采用逻辑回归。弥补了网络上讲解不全，信息参差不齐的短板。个人信用评级模型可自动化审批客户资质，让银行，消费金融，小额贷贷款风险最小化并将利润最大化。企业信用评级模型可自动筛选优质企业和不良企业，为评级机构，企业融资，银行贷款，企业上市，企业并购，企业债发行提供有价值参考。 python金融风控评分卡模型和数据分析系列课  
Python机器学习：自定义函数筛选相关性高的特征
Sukey666666的博客
01-20 1886
当特征有很多的时候，难免会出现一些相关性高的特征。可以自定义一个自动化的方法批量输出这些特征，方便我们进行下一步删除或者降维的处理。
申请评分卡模型数据预处理(二)
better_zhao的博客
08-06 861
变量筛选 用户的属性有千千万万个维度，而评分卡模型所选用的字段在30个以下，那么怎样挑选这些字段呢？ 挑选入模变量需要考虑很多因素，比如：变量的预测能力，变量之间的线性相关性，变量的简单性（容易生成和使用），变量的强壮性（不容易被绕过），变量在业务上的可解释性（被挑战时可以解释的通）等等。 其中最主要和最直接的衡量标准是变量的预测能力和变量的线性相关性。 本文主要探讨基于变量预测能力的单变量筛选，变量两两相关性分析，变量的多重共线性分析。 1.单变量筛选 单变量的筛选基于变量预测能力，常用方法： 基于IV值
python评分卡3_woe与IV分箱实现
u012338969的博客
05-08 3987
本系列分以下章节： python评分卡1_woe与IV值 python评分卡2_woe与IV分箱方法 python评分卡3_woe与IV分箱实现 python评分卡4_logistics回归模型原理 python评分卡5_logistics回归模型实现 python评分卡6_刻度与logistics模型 1.Python第三方库 打开网址：https://pypi.org 在搜寻框中输入 woe，如下图所示: [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pTuAGG0s-
python自动分箱,计算woe,iv的实例代码
09-18
Python中的自动分箱技术是一种数据预处理方法，常用于信用评分卡、风险评估等领域，它通过对特征进行分组，计算每个组内的Weight of Evidence (WOE)和Information Value (IV)来改善模型的预测能力。WOE是衡量特定...
R语言WOE与IV值计算函数
12-04
R语言的WOE和IV批量计算实现，运行代码后根据注释中的参数描述调用函数即可
IV值实现公式.xls
04-15
IV值计算逻辑；使用excel中的公式，对IV和woe值进行计算，可以有效的理解公式含义和实现逻辑；
python 基于卡方值分箱算法的实现示例
09-16
6. **计算IV（Information Value）**：IV是衡量特征重要性的指标，等于各箱的WOE值乘以相应的比例之和。定义一个函数`iv_value`，计算整个特征的IV值。 7. **确保每个箱内包含0和1**：首先，如果第一个箱内有0，则...
python计算决策树误差_基于sklearn决策树的最优分箱与IV值计算-Python实现
weixin_39711914的博客
11-20 974
一、问题描述： 在实际建模问题中，衍生加工许多特征变量之后，一般而言，首先需要对衍生变量的预测能力做一个快速、初步的评估。针对二分类问题，如信贷风险模型的好坏客户预测与评分，我们一般用IV值（Information Value）来衡量特征变量的预测能力，然后再筛选出IV值高于某个阈值的一篮子特征来进行下一步的建模工作。 为了计算某个变量的IV，首先需要对其进行分箱。如果...
转：Python数据分箱，计算woe，iv
纸上得来终觉浅
12-22 3959
转自：https://zhuanlan.zhihu.com/p/38440477 数据分箱的重要性及优势： 离散特征的增加和减少都很容易，易于模型的快速迭代； 稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展； 离散化后的特征对异常数据有很强的鲁棒性：比如一个特征是年龄>30是1，否则0。如果特征没有离散化，一个异常数据“年龄300岁”会给模型造成很大的干扰； 逻辑回归属于广义线性模型，表达能力受限；单变量离散化为N个后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型表达
评分卡中WOE和IV详解 Python实现
u010654299的博客
01-05 7346
  信用评分卡模型是信用风险评估中普遍使用的模型，而在模型建立过程中，一般采用WOE(Weight Of Evidence 证据权重)对自变量进行编码，并根据IV(Information Value 信息量)作为变量筛选指标。 1 WOE   WOE(Weight Of Evidence 证据权重)是一种对自变量编码的方法，需注意的是在WOE编码前需对数据进行分箱（分组或离散化）操作。 具体而言，...
woe和IV实际实例解说 (python代码拿走）
niujinya的博客
09-18 1557
一.介绍 对于woe和IV，简单来说就是用来进行特征选择的方法，我做了两个例子来简单说明一下，例子的代码放到了文章的最后。如果你想看看原理：(你就想求IV和woe，可以直接看例子，跑代码)https://blog.csdn.net/niujinya/article/details/120330215?spm=1001.2014.3001.5501 二.银行例子（寻找和标签关联最高的特征） 首先最简单的示例，也是一般官方提供的，我这里展示一下数据： 可以看出既有文字，也有数字。这里呢如果你有相似.
Python woe 0.0.7 源码解析
wuhuaiyu的专栏
09-30 4095
Python woe 0.0.7 源码解析
Python WOE的使用
wyl2289的博客
09-07 1万+
这个WOE包是在做评分卡的时候从网上找到的，最新的为0.1.4版本，地址如下： https://pypi.org/project/woe/#files woe模块实现： 输入中会指名变量作为离散值还是连续值进行IV计算。 针对离散值，将每个值作为一个分组，计算个分组woe值，再计算IV值 针对连续值：  计算将整体数据作为一个分组的IV值（命名为IV0）。 对所有值排序，根据最大，最小值平均...
WOE、VI及Python代码实现
wyl2289的博客
08-24 9494
IV的全称是Information Value，中文意思是信息价值，或者信息量。 我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直接放到模型中去进行拟合训练，而是会用一些方法，从这200个自变量中挑选一些出来，放进模型，形成入模变量列表。那么我们怎么去挑选入模变量呢？ 挑选入模变量过程是个比较复杂的过...
WOE信用评分卡（python+Excel实现法）
simonchen198774的博客
12-21 1万+
信用评分卡是近年来兴起的一种为保障银行和其他金融部门的金融安全而设立的一种关于人生金融权限的划定模型。该模型指根据用户的信用历史资料，利用一定的信用评分模型，得到不同等级的信用分数。根据用户的信用分数，来决定是否放贷，以及相应的授信额度。随着目前小额消费贷的蓬勃发展，银行方面面临着单笔额度较小，申请额度分散，缺乏抵押以及客户质量不确定等诸多挑战，信用评分卡将会有广泛的应用前景。
python自动分箱，计算woe,iv
热门推荐
KIDxu的博客
03-18 2万+
笔者之前用R开发评分卡时，需要进行分箱计算woe及iv值，采用的R包是smbinning,它可以自动进行分箱。近期换用python开发，也想实现自动分箱功能，找到了一个woe包，地址https://pypi.org/project/woe/，可以直接 pip install woe安装。 由于此woe包官网介绍及给的例子不是很好理解，关于每个函数的使用也没有很详细的说明，经过一番仔细探究后以此...
sklearn特征分箱、woe值iv值计算、特征选择代码
06-01
好的，为了更好地说明sklearn中特征分箱、woe值iv值计算和特征选择的操作，我来给你提供一些简单的示例代码。 1. 特征分箱 使用preprocessing模块中的KBinsDiscretizer类进行等频分箱： ```python from sklearn....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值