python评分卡建模-卡方分箱

最新推荐文章于 2024-07-02 21:12:53 发布
最新推荐文章于 2024-07-02 21:12:53 发布
阅读量549 收藏 4
点赞数
分类专栏： 贷前风控-风控建模
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoxiaoniaoer1/article/details/103675619
版权
本文详细介绍了卡方分布、卡方检验及其在统计推断中的应用，接着讲解了卡方检验的一个实例，并引入了ChiMerge卡方分箱算法，包括其初始化阶段和自底向上的合并阶段，最后讨论了算法中的阈值和约束条件。
摘要由CSDN通过智能技术生成

今天主要给大家讲讲卡方分箱算法ChiMerge。先给大家介绍一下经常被提到的卡方分布和卡方检验是什么。

一、卡方分布

卡方分布(chi-square distribution, χ2-distribution)是概率统计里常用的一种概率分布，也是统计推断里应用最广泛的概率分布之一，在假设检验与置信区间的计算中经常能见到卡方分布的身影。

卡方分布的定义如下：

若k个独立的随机变量Z1, Z2,..., Zk 满足标准正态分布 N(0,1) , 则这k个随机变量的平方和：

为服从自由度为k的卡方分布，记作：

或者记作

。

二、卡方检验

最低0.47元/天 解锁文章
慢爬小蜗牛
关注
专栏目录
python卡方分箱_Python评分卡建模—卡方分箱
weixin_33989001的博客
02-03 1218
为服从自由度为k的卡方分布，记作：或者记作。二、卡方检验χ2检验是以χ2分布为基础的一种假设检验方法，主要用于分类变量之间的独立性检验。其基本思想是根据样本数据推断总体的分布与期望分布是否有显著性差异，或者推断两个分类变量是否相关或者独立。一般可以设原假设为 ：观察频数与期望频数没有差异，或者两个变量相互独立不相关。实际应用中，我们先假设原假设成立，计算出卡方的值，卡方表示观察值与理论值间的偏离程...
python分箱代码_python实现二分类的卡方分箱示例
weixin_28832121的博客
02-03 782
解决的问题：1、实现了二分类的卡方分箱；2、实现了最大分组限定停止条件，和最小阈值限定停止条件；问题，还不太清楚，后续补充。1、自由度k,如何来确定，卡方阈值的自由度为 分箱数-1，显著性水平可以取10%，5%或1%算法扩展：1、卡方分箱除了用阈值来做约束条件，还可以进一步的加入分箱数约束，以及最小箱占比，坏人率约束等。2、需要实现更多分类的卡方分箱算法；具体代码如下： # -*- coding:...
Python特征工程 — 1.2 特征分箱
几度春风里的博客
07-02 1571
特征分箱（Feature Binning）是一种数据预处理技术，主要用于将连续特征（或密集离散特征）转换为离散特征，可以提高模型的性能。目的：特征分箱的目的是将连续（或密集离散）变量的值范围划分为多个区间（或“箱子”），并将这些区间映射到离散的类别或标签上。原因：连续（或密集离散）变量可能包含非线性关系或复杂的模式，这些模式对于某些机器学习算法来说可能难以捕捉。通过分箱，我们可以将这些复杂的连续变量（或密集离散）简化为更易于模型处理的离散变量。
python_卡方分箱
wj1298250240的博客
12-16 690
python_卡方分箱 # 卡方统计量衡量了区间内样本的频数分布与整体样本的频数分布的差异性，在做分箱处理时可以使用两种限制条件： # （1）分箱个数：限制最终的分箱个数结果，每次将样本中具有最小卡方值的区间与相邻的最小卡方区间进行合并，直到分箱个数达到限制条件为止。 # （2）卡方阈值：根据自由度和显著性水平得到对应的卡方阈值，如果分箱的各区间最小卡方值小于卡方阈值，则继续合并，直到最小卡方...
python 卡方分箱算法_python 基于卡方值分箱算法的实现示例
weixin_42441072的博客
01-14 486
原理很简单，初始分20箱或更多，先确保每箱中都含有0，1标签，对不包含0，1标签的箱向前合并，计算各箱卡方值，对卡方值最小的箱向后合并，代码如下import pandas as pdimport numpy as npimport scipyfrom scipy import statsdef chi_bin(DF,var,target,binnum=5,maxcut=20):'''DF:data...
python卡方分箱_机器学习（十六）特征工程之数据分箱
weixin_34791683的博客
03-02 592
1 分箱简介数据分箱(也称为离散分箱或分段)是一种数据预处理技术，用于减少次要观察误差的影响，是一种将多个连续值分组为较少数量的“分箱”的方法。例如，例如我们有一组关于人年龄的数据，如下图所示：初始数据现在我们希望将他们的年龄分组到更少的间隔中，可以通过设置一些条件来实现：分箱后的数据分箱的数据不一定必须是数字，它们可以是任何类型的值，如“狗”，“猫”，“仓鼠”等。 分箱也用于图像处理，通过将相邻...
python评分卡建模-卡方分箱（2）之代码实现
xiaoxiaoniaoer1的专栏
12-25 1784
卡方值计算 计算卡方值的函数需要输入numpy格式的频数表。对于pandas数据集，只需使用pd.crosstab计算即可，例如变量“总账户数” 与 目标变量 “是否坏客户” 的频数表，如下图： 每一行代表一个区间（组）的频数，如上图中第一行表示 总账户数在[2,3) 这个组内对应的好客户3个， 坏客户1个。 将频数表转成numpy数组，然后调用函数计算卡方值，计算逻辑如下： 1...
python 基于卡方值分箱算法的实现示例
09-16
Python中的卡方值分箱算法（Chi-Squared Binning）是一种数据预处理技术，常用于特征工程，特别是在信用评分、风险评估等领域。该算法的主要目的是将连续变量转换为离散的类别，以便更好地进行建模和分析。卡方值...
python评分卡建模-实现WOE编码及IV值计算
xiaoxiaoniaoer1的专栏
12-25 2597
在往期的文章中，小编多次写到过WOE和IV值的内容，也贴过相关的SAS代码，感兴趣的同学可以翻阅历史消息。这篇文章就不多介绍WOE及IV值的概念，主要讲讲怎么用python实现WOE编码和IV值的计算。 代码 实例 下面用UCI信用卡逾期数据集介绍一下以上代码的用法。 数据集如下： 数据集有20多个变量，其中响应变量是 'default payment next mo...
python实现卡方分箱Chi-Merge
热门推荐
weixin_42097808的博客
05-29 2万+
卡方分箱是依赖于卡方检验的分箱方法，在统计指标上选择卡方统计量（chi-Square）进行判别，分箱的基本思想是判断相邻的两个区间是否有分布差异，基于卡方统计量的结果进行自下而上的合并，直到满足分箱的限制条件为止。 卡方分箱的实现步骤： 卡方统计量衡量了区间内样本的频数分布与整体样本的频数分布的差异性，在做分箱处理时可以使用两种限制条件： （1）分箱个数：限制最终的分箱个数结果，每次将样...
python实现二分类的卡方分箱示例
09-18
今天小编就为大家分享一篇python实现二分类的卡方分箱示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
（七）Python申请评分卡模型建立（图文+代码实现）数据集
02-24
（七）Python申请评分卡模型建立（图文+代码实现）的数据集
【特征工程】卡方分箱原理和python代码（附带训练数据和测试结果），适合二分类和多分类
GreenYang5277的博客
05-28 6315
背景介绍 本文针对有一定基础的数据分析人员，专门想了解卡方分箱原理和寻找能直接运行的代码的人员。 分箱是特征工程中常见的操作，也就是将某一个变量划分为多个区间，比如对年龄分箱，1-10岁，10-40岁，40+岁。卡方分箱就是用来寻找最优分割点的方法。 本文介绍了卡方分箱原理、python代码、使用数据集（有数据集构造代码）测试分箱效果几个部分。 注：这里保证代码肯定可以直接运行，并附上了检验分箱原理的代码。如果有注释不清楚的，欢迎一起讨论。 卡方分箱原理 卡方分箱是自底向上的(即基于合并的)数据离散化方法。
【卡方分箱】理论 & Python源码解析
weixin_42487713的博客
04-14 2015
一、介绍 分箱就是将特征进行离散化处理的过程，将变量可能取值的范围依据一定的挡板进行分隔。比如年龄这个变量是，可以分箱为0-18，18-30，30-45，45-60，婚姻状况这个变量，可以分为【初婚、复婚】，【未婚、未知】，【离异、丧偶】等。 　分箱的好处主要有这些： 分箱后的特征对异常数据有更强的鲁棒性。比如年龄中有一个异常值为300，分箱之后就可能划到>80这一箱中，而如果直接入模的话会对模型造成很大干扰。 特征离散化之后，每个变量有单独的权重，可以为逻辑回归模型引入了非线性，能够提升模型
python 卡方分箱算法_特征工程 - 分箱
weixin_39843215的博客
02-09 324
卡方分箱python自帶分箱函數 -- 無法實現對分類型數據的分箱，可借助卡方分箱算法實現import numpy as npimport pandas as pddata = np.random.randint(100, size=(10000,))#自定義分箱#cut(x, bins, right=True, labels=None, retbins=False, precision=3,...
python 评分卡建模记录---使用到的各种函数（1）
u013344884的博客
05-03 2340
用python评分卡建模过程中使用到的numpy 和pandas中的方法 （一）python选取特定列——pandas的iloc和loc以及icol使用（列切片及行切片） df是一个dataframe，列名为A B C D 具体值如下： A    B    C     D 0    ss   小红  8 1    aa   小明  d 4    f          f 6    ak   小...
python实现二分类的卡方分箱
m0_37235489的博客
11-28 3528
解决的问题： 1、实现了二分类的卡方分箱； 2、实现了最大分组限定停止条件，和最小阈值限定停止条件； 问题，还不太清楚，后续补充。 1、自由度k,如何来确定，卡方阈值的自由度为 分箱数-1，显著性水平可以取10%，5%或1% 算法扩展： 1、卡方分箱除了用阈值来做约束条件，还可以进一步的加入分箱数约束，以及最小箱占比，坏人率约束等。 2、需要实现更多分类的卡方分箱算法；   具体代码如下：...
卡方分箱python
最新发布
08-21
卡方检验是一种统计分析方法，常用于评估观察数据与理论分布之间的差异程度，尤其是在分类变量上。在Python中，可以使用`scipy.stats.chisquare()`函数来进行卡方检验，通常会先将数据分为几个类别（箱子），也就是所谓的“分箱”。 例如，如果你有一个名义变量或计数数据，并想检查各个类别的频数是否符合某种预期的比例，你可以按照特定的标准（如等频、等比或自定义比例）对数据进行分箱，然后计算每个分箱内观测值与期望值的卡方统计量。 以下是使用Python进行简单卡方分箱并计算卡方值的基本步骤： 1. 导入必要的库： ```python import pandas as pd from scipy.stats import chi2_contingency ``` 2. 准备数据，假设你有一个包含分类变量的DataFrame `df`： ```python data = pd.DataFrame({'Category': ['A', 'B', 'A', 'B', 'C', 'C', 'A', 'A', 'B', 'C']}) ``` 3. 对类别进行分箱，这里我们按类别分组： ```python table = data['Category'].value_counts().sort_index() ``` 4. 计算理论频率（如果所有类别均匀分布）： ```python expected = table.size / len(table) ``` 5. 使用`chi2_contingency()`计算卡方值和p-value： ```python chi_square, p_value, dof, expected = chi2_contingency(table, lambda_=None) # lambda_参数通常是0，表示默认的自由度计算 ``` 6. 分析结果： - `chi_square`是卡方统计量 - `p_value`小于显著性水平（比如0.05）则拒绝原假设，认为类别分布有显著差异
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值