连续特征为什么分箱 以及怎么分箱

最新推荐文章于 2024-03-31 18:06:46 发布
最新推荐文章于 2024-03-31 18:06:46 发布
阅读量876 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33761777/article/details/108922245
版权

为什么分箱
怎么分
在特征工程我们通常可以对连续值属性进行分箱操作（也就是常说的离散化），并且对于取值较多的离散变量也可进行分箱操作

qq_33761777
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
特征工程——连续特征离散化分箱
weixin_45339594的博客
11-20 1049
特征工程之连续变量的离散化方法
计算woe与vi值
Coder的博客
07-26 1146
from scipy.stats import chi2 def chi_bins(df,col,target,confidence=None,bins=20): # 设定自由度为1，卡方阈值为3.841，最大分箱数20 total = df[target].count() #计算总样本数 bad = df[target].sum() # 计算坏样本总数 good = total - bad # 计算好样本总数 total_bin = df.groupby(.
【汇】连续变量的常用分箱测试方法：等频、等距、best_ks、卡方
Toby的博客
07-24 4542
分箱的基评估标准是依靠WOE与IV值，常用的方法是等频、等距、best_ks、卡方。 决策树里对于连续值采用信息熵、信息增益率、方差、基尼系数等来进行拆分的选择。 它们本质上是一样的，都是为了寻找最佳的拆分方式，具有最好的表达能力。只不过一个不是用模型能力表现，一个是用模型能力表现。 等频分箱 对连续变量从小到大排序，使用频次百分比qcut分割的方式对连续变量进行分箱，使得每个区间具有数量相同的样本量。 等距分箱 对连续变量从小到大排序，将取值区间等分成N等份，样本根据其取值落到对应的分箱中。
【数据建模 特征分箱】特征分箱的方法
热门推荐
赖德发的博客
11-01 3万+
在建模中，需要对连续变量离散化，特征离散化后，模型会更稳定，降低了模型过拟合的风险。有监督的卡方分箱法(ChiMerge)自底向上的(即基于合并的)数据离散化方法。 它依赖于卡方检验:具有最小卡方值的相邻区间合并在一起,直到满足确定的停止准则。 基本思想:对于精确的离散化，相对类频率在一个区间内应当完全一致。因此,如果两个相邻的区间具有非常类似的类分布，则这两个区间可以合并；否则，它们应当保持分开
通过分箱对连续特征离散化，以提高线性模型的表现
fatfairyyy的博客
09-02 386
正如我们所预料的，线性模型只能对线性关系建模，对于单个特征的情况就是一条直线。而决策树可以构建更为复杂的数据模型，但这强烈依赖于数据表示。而使用可以让线性模型在连续数据上的表现更加强大。特征分箱也叫离散化，可以通过特征分箱将连续的特征划分为多个离散特征。
python实现连续变量最优分箱详解--CART算法
09-18
连续变量最优分箱是数据分析和数据挖掘中的一个重要环节，它将连续变量的值分割成若干个离散区间，以便更好地揭示数据特征和规律。分箱技术的目的是为了减少数据的复杂性，提高数据模型的可解释性和泛化能力。 一、...
python实现连续变量最优分箱详解–CART算法
01-02
本篇使用python，基于CART算法对连续变量进行最优分箱 由于CART是决策树分类算法，所以相当于是单变量决策树分类。 简单介绍下理论： CART是二叉树，每次仅进行二元分类，对于连续性变量，方法是依次计算相邻两元素...
python的等深分箱实例
09-18
等深分箱是一种数据预处理技术，特别是在统计分析和机器学习中用于将连续数值型变量转换成离散的类别。这种技术将数据分成若干个深度相等的区间（箱），每个箱内数值的范围是固定的。等深分箱的主要优点在于能够确保...
python 基于卡方值分箱算法的实现示例
09-16
Python中的卡方值分箱算法（Chi-Squared Binning）是一种数据预处理技术，常用于特征工程，特别是在信用评分、风险评估等领域。该算法的主要目的是将连续变量转换为离散的类别，以便更好地进行建模和分析。卡方值...
python实现二分类的卡方分箱示例
09-18
在二分类问题中，卡方分箱的目标是将连续或离散的特征变量分成若干个区间（或称为箱），使得同一箱内的样本在目标变量上有较高的相似性。 在Python中实现二分类的卡方分箱，首先需要导入必要的库，如`pandas`用于...
特征工程之分箱
Pylady的博客
12-23 1万+
一般在建立分类模型时，需要对连续变量离散化，特征离散化后，模型会更稳定，降低了模型过拟合的风险。比如在建立申请评分卡模型时用logsitic作为基模型就需要对连续变量进行离散化，离散化通常采用分箱法。分箱的重要性及其优势 离散特征的增加和减少都很容易，易于模型的快速迭代； 稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展； 离散化后的特征对异常数据有很强的鲁棒性：比如一个特征是年龄>30是1，
为什么要进行数据分箱？（转）
weixin_30788619的博客
07-16 1990
一般在建立分类模型时，需要对连续变量离散化，特征离散化后，模型会更稳定，降低了模型过拟合的风险。比如在建立申请评分卡模型时用logsitic作为基模型就需要对连续变量进行离散化，离散化通常采用分箱法。 分箱的重要性及其优势 离散特征的增加和减少都很容易，易于模型的快速迭代； 稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展； 离散化后的特征对异常数据有很强的鲁棒性：比如一个...
利用python实现对连续特征的分箱操作（数据离散化）
步步心愿的博客
11-25 5791
1. 数据分箱 1.1 等区间分箱 将连续变量的值进行获取，然后利用pandas的cut函数进行等区间分箱。 如下代码，获取值A2_values ，并等数值区间分为6类为[0,1,2,3,4,5]; (cut在操作时，统计了一维数组的最小、最大值，得到一个区间长度，因为需要划分6个区间) 1.2 等频分箱 将连续变量在[min,max]区间内，等数量地进行分箱。 1.3 卡方分箱法(ChiMe...
连续值特征分桶区间设置
屏幕里的日与夜
06-27 1850
连续值特征分桶区间设置依靠实际意义依靠数学分析oddsWOEIV值等宽等频K-means卡方统计 我们实际遇到的数据经常会是连续取值的数据，比如一些表示计数或者量级的属性。 有些模型比如常用的梯度提升树系列（GBDT,XGB,LGB）可以不做任何处理的直接输入； 也有些模型（lr,nn）把数值属性去除量纲后就可以作为输入; 但是一般为了方便处理或者提取出更有用的信息我们会做分桶或者说分箱处理。 设置几个阈值把总的取值区间划分为几个小区间，每个样本的取值就会落在其中一个区间，如果阈值设置的好的话相当于人工
特征工程——分箱（binning）
最新发布
一枚想要从事互联网金融行业的菜鸡
03-31 609
一般在评分卡模型中，可以先使用细分箱，找到最佳的分箱策略，然后进行粗分箱，简化模型，来提高模型的稳定性。拿年龄来说，分箱后赋予不同的分数，反映不同的年龄段的信用风险。
特征处理之一——如何处理连续型特征
D的博客
01-31 3488
  对于传统的机器学习、数据挖掘问题，在CV、NLP领域之外，一般而言特征工程是很重要的。   对特征进行异常处理亦或是组合的时候往往需要考虑实际业务，但是在实际业务之外，也有那么一些常规的技巧可以遵循。   特征中的一大类别——连续型特征如何处理？   1、原始特征       没错，来句废话……连续型特征的原始形态就可以作为模型的输入，无论是linearRegression、神经网络，...
ML之Scorecard：机器学习—评分卡模型中数据分桶/变量分箱/特征分箱的简介(分箱的有效期/特征分箱的优势)、常用方法、案例应用(为例)之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-16 2172
​ DataScience：机器学习—评分卡模型中数据分桶/变量分箱/特征分箱的简介(分箱的有效期/特征分箱的优势)、常用方法、案例应用(为例)之详细攻略 目录 评分卡模型中的连续型变量离散化—变量分箱的简介 评分卡模型中特征分箱/变量分箱的案例应用 评分卡模型中的连续型变量离散化—变量分箱的简介 在评分卡模型中，不管原先是连续变量还是离散变量，最终模式都要通过分箱或重分箱转化成离散型。 提出问题 评分法卡模型采用的是对每个字段的分段进行评分，那么怎么进行分段呢？ 解决方案
特征分桶的方法
qq_25174485的博客
03-13 2788
对于一些连续型特征，有时直接使用效果不好，或者不适合某种模型使用，可以进行分桶，变成类别型变量。类别型变量，特别是类别数比较多的特征，也可以使用分桶的方法，进行合并，或者踢掉一些作用不大的类别。那应该怎么划分呢？有什么数据支撑划分的合理性，一般常用WOE与IV值结合进行判断。 1、WOE：Weight Of Evidence 计算公式： 即(某一桶坏客户数/总的坏客户数)/(某一桶好客户数/总的好客户数)=某桶坏客户比例/好客户比例 该值越大，说明坏客户比例越高 ，包含的信息越大，区分性越强，对模型
【机器学习】这3种特征分箱方法，一定要理解掌握
Python数据挖掘
08-14 4344
大家好，一般在建立时，当我们进行特征工程的工作经常需要对连续型变量进行离散化的处理，也就是将连续型字段转成离散型字段。离散化的过程中，连续型变量重新进行了编码。特征离散化后，模型会更稳定，降低了模型过拟合的风险。本文主要介绍3种常见的特征分箱方法，...
特征工程需要分箱的接口
05-18
分箱是一种特征工程技术，它可以将连续值离散化成不同的区间，从而使得特征在模型训练中更易于处理。在Python中，可以使用pandas和numpy库来实现分箱的接口。 下面是一个使用pandas库的分箱示例： ```python import pandas as pd # 创建一个包含连续值的DataFrame df = pd.DataFrame({'age': [20, 25, 30, 35, 40, 45, 50, 55, 60, 65], 'income': [20000, 35000, 50000, 65000, 80000, 95000, 110000, 125000, 140000, 155000]}) # 将age特征分成3个区间 df['age_bin'] = pd.cut(df['age'], bins=3) # 将income特征分成4个区间 df['income_bin'] = pd.cut(df['income'], bins=4) # 打印结果 print(df) ``` 输出结果： ``` age income age_bin income_bin 0 20 20000 (19.945, 36.0] (19960.0, 54250.0] 1 25 35000 (19.945, 36.0] (19960.0, 54250.0] 2 30 50000 (19.945, 36.0] (19960.0, 54250.0] 3 35 65000 (36.0, 52.0] (54250.0, 88333.333] 4 40 80000 (36.0, 52.0] (54250.0, 88333.333] 5 45 95000 (36.0, 52.0] (88333.333, 122500.0] 6 50 110000 (52.0, 68.0] (88333.333, 122500.0] 7 55 125000 (52.0, 68.0] (122500.0, 156666.667] 8 60 140000 (52.0, 68.0] (122500.0, 156666.667] 9 65 155000 (52.0, 68.0] (122500.0, 156666.667] ``` 上述代码中，我们使用了`pd.cut()`函数将`age`和`income`特征分别分成了3个和4个区间。分箱后，新的特征`age_bin`和`income_bin`被添加到了DataFrame中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值