特征离散化（四） 之 bestKS分箱

最新推荐文章于 2022-06-24 08:13:38 发布
最新推荐文章于 2022-06-24 08:13:38 发布
阅读量1.9k 收藏
点赞数 3
分类专栏： 机器学习 文章标签： bestKS分箱 KS值 离散化 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SkullSky/article/details/105646062
版权

特征离散化（四） 之 bestKS分箱

讲完了最小熵分箱，随便也提一下bestKS分箱吧。其实看懂了最小熵分箱，很容易就能理解bestKS分箱了。两个都是自顶向下的监督分箱方法，区别就在于确定划分点的指标不同。最小熵采用的是熵值，bestKS采用的KS值。

1. KS值

KS(Kolmogorov-Smirnov)用于评估模型区分风险的能力。描述的是数据中好坏样本累计部分之间的差距 。KS值越大，表示该变量的可区分度越高，越能将正，负样本区分开来。通常来说，KS>0.2即表示该特征有较好的准确率。这里的KS值是变量的KS值，而不是模型的KS值。

KS值的计算公式：
K S i = ∣ s u m i / s u m T − ( s i z e i − s u m i ) / ( s i z e T − s u m T ) ∣ KS_i = |sum_i / sum_T - (size_i - sum_i)/ (size_T - sum_T)| KSi​=∣sumi​/sumT​−

最低0.47元/天 解锁文章
SkullSky
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【有监督分箱】方法二： Best-KS分箱
hxcaifly的博客
11-28 1万+
变量的KS值 KS(Kolmogorov-Smirnov)用于模型风险区分能力进行评估，指标衡量的是好坏样本累计部分之间的差距 。KS值越大，表示该变量越能将正，负客户的区分程度越大。通常来说，KS>0.2即表示特征有较好的准确率。强调一下，这 里的KS值是变量的KS值，而不是模型的KS值。（后面的模型评估里会重点讲解模型的KS值）。 KS的计算方式： 计算每个评分区间的好坏账户数。 计算...
特征工程之分箱--Best-KS分箱
weixin_30443075的博客
03-17 651
变量的KS值 KS(Kolmogorov-Smirnov)用于模型风险区分能力进行评估，指标衡量的是好坏样本累计部分之间的差距 。KS值越大，表示该变量越能将正，负客户的区分程度越大。通常来说，KS>0.2即表示特征有较好的准确率。强调一下，这里的KS值是变量的KS值，而不是模型的KS值。（后面的模型评估里会重点讲解模型的KS值）。KS的计算方式： 计算每个评分区间的好坏账户数。 ...
风控场景下的常用特征分箱介绍：BestKs分箱、卡方分箱、聚类分箱等
Buevara的博客
06-02 9342
构建风控模型时，常用特征的分箱方法可以分为两大类： 有监督 Best-KS ChiMerge 无监督 等频 等距 聚类 有监督 Best-KS ChiMerge 卡方阈值的确定： 　　根据显著性水平和自由度得到卡方值 　　自由度比类别数量小1。例如：有3类,自由度为2，则90%置信度(10%显著性水平)下，卡方的值为4.6。 阈值的意义 　　类...
分箱_best-ks分箱
Silenceyezi的博客
06-24 3310
best-ks分箱
【转】决策树分箱、卡方分箱、bestks以及评价标准WOE和IV值
Toby的博客
12-06 2816
转自：决策树分箱、卡方分箱、bestks以及评价标准WOE和IV) - 哔哩哔哩特征工程之特征分箱：决策树分箱、卡方分箱、bestks以及评价标准1.WOE和IV2.无监督分箱2.1等频分箱2.2等距分箱3.有监督分箱3.1决策树分箱3.2best-ks分箱3.3卡方分箱前言：在做数据挖掘项目的时候，特征工程通常是其中非常重要的一个环节，但是难度也比较高，并且不同项目特征工程会有所差异，因此在做相关项目时可以多总结一些对结果提升比较明显的操作，近期做了一下天池上面的入门金融风控的项目，发现在对部分连续变量和
使用pandas实现连续数据的离散化处理方式(分箱操作)
09-18
在Python中，Pandas库提供了两种主要的方法来实现离散化，即分箱操作：`pd.cut` 和 `pd.qcut`。 `pd.cut` 函数主要用于根据用户指定的分界点（bins）进行分箱。例如，我们有一组年龄数据（ages），我们可以设定一...
利用Python将数值型特征进行离散化操作的方法
12-25
如下所示： data = np.random.randn(20) factor = pd.cut(data,4) pd.get_dummies(factor) 0 0 0 0 1 1 1 0 0 0 2 0 0 0 1 3 0 0 1 0 4 1 0 0 0 5 0 1 0 0 6 0 1 0 0 7 0 1 0 0 ...其中参数中的4表
数据清洗之 数据离散化
01-21
数据离散化就是分箱 一把你常用分箱方法是等频分箱或者等宽分箱 一般使用pd.cut或者pd.qcut函数 pandas.cut(x, bins, right=True, labels) x: 数据 bins: 离散化的数目，或者切分的区间 labels: 离散化后各个类别的...
特征离散化-Facebook
08-06
特征离散化算法，信息熵增益在Logistic Regression线性化上的应用。
金融风控建模教程-申请评分卡的数据预处理和特征衍生
08-23
1. 构建信用风险类型的特征 2. 特征的分箱 分箱的优点 Best-KS分箱法和卡方分箱法 3. 特征信息度的计算和意义
特征工程之特征分箱（决策树分箱、卡方分箱、bestks以及评价标准WOE和IV)
热门推荐
CarryLvan的博客
09-27 1万+
特征工程之特征分箱：决策树分箱、卡方分箱、bestks以及评价标准
数据分箱python代码深入解读
Andy_shenzl的博客
06-01 2534
之前介绍了分箱的理论： https://blog.csdn.net/Andy_shenzl/article/details/88965169 https://blog.csdn.net/Andy_shenzl/article/details/89015772#3.1WOE 本次针对卡方分箱的代码进行解释 数据集及完整代码：https://github.com/Andyszl/Feature_Engineering/blob/master/卡方分箱.ipynb 分箱 分箱的定义 将连续变量离散化 将多状态的
数据分箱——KS分箱/卡放分箱
Andy_shenzl的博客
04-09 7562
目录 1.前言 2.定义 3.分箱的用处 4.分箱方法 4.1 KS分箱 变量的KS值 Best-KS分箱 4.2卡方分箱 1.前言 评分卡建模在金融行业应用得比较广泛，比如对客户的信贷诚信度进行评分。在建模过程中，对连续变量的分箱是一个必不可少的过程。 2.定义 何谓分箱，简单地说，分箱就是将连续变量离散化，将多状态的离散变量合并成少状态。 3.分箱的用处 离散...
数据分箱5——Best-KS(Kolmogorov-Smirnov)分箱（有监督）
呆萌的代Ma
12-13 755
ks是Kolmogorov-Smirnov，优势、理论部分可以参考：https://blog.titanwolf.in/a?ID=00950-78d07928-af47-4f50-a4a0-dc975d0d74a2 注意：y中只能取0和1，其中1为坏样本，0为好样本； 示例代码 代码来源：https://blog.csdn.net/yeshang_lady/article/details/112623604 import pandas as pd import numpy as np from sklear
KS值的计算过程
谷雨的博客
10-30 1万+
KS（kolmogorov-Smirnov）值衡量的是好坏样本累计各部分之间的差值。 好坏样本累计差异越大，KS指标越大。那么模型的风险区分能力越强。 KS的计算步骤： 1.按照模型的结果对每个账户进行打分。 2.所有账户按照评分排序，并从小到大分为10~20组。 3.计算每个评分区间的好坏账户数。（每个区间的good账户数n, 坏账户数m） 4.（1）计算每个评分区间的累计好账户数占总的好账户数的比例。（从第0个区间到第i个区间的good账户数ni 比 所有的good账户数N，ni/N） .
机器学习（十六）特征工程之数据分箱
yanqianglifei的专栏
01-19 4841
1 分箱简介 数据分箱（也称为离散分箱或分段）是一种数据预处理技术，用于减少次要观察误差的影响，是一种将多个连续值分组为较少数量的“分箱”的方法。 例如，例如我们有一组关于人年龄的数据，如下图所示： 初始数据 现在我们希望将他们的年龄分组到更少的间隔中，可以通过设置一些条件来实现： 分箱后的数据 分箱的数据不一定必须是数字，它们...
浅谈基于MDLP算法的数据分箱技术
LegenDavid's warehouse
08-08 3355
浅谈基于MDLP算法的数据分箱技术 导语 在数学建模当中，有些算法(如Logistic Regression、Naive Bayes)需要将连续型变量进行分箱处理，这样做既可以消除奇异值带来的影响，同时也便于业务部门后期根据模型的结果进行客户细分。但是如果是使用传统的无监督数据分箱（例如等频、等距），效果往往不甚理想。今天小编就来介绍一种简单易操作的监督式分箱技术MDLP（最小描述长度准...
python数据分析培训费用_Python数据分析行业案例课程--信用评分方法
weixin_39690391的博客
11-24 150
注意：1. 本行业案例课程为Python 3 数据分析系列课程的行业案例部分，学员请务必先观看课程介绍免费视频，确认已学习本课程所需Python分析技能。2. 本课程的核心目的是协助学员学习具体业务场景下的解决方案，为降低学员学习难度，课程中均尽量使用简明易懂的代码进行数据整理和模型实现，没有出现任何晦涩高深的代码，并尽量基于pandas、sklearn等标准包接口编程。故此希望看到笔者在课程中炫...
chimerge离散化分箱
最新发布
12-21
chimerge是一种用于离散化分箱的算法，它可以帮助我们将连续的数值型数据分成几个离散的区间，这样可以更好地理解和分析数据的特征。这个过程主要是通过合并相邻的区间来实现的。 首先，chimerge算法会对数据进行排序，然后将相邻的数值进行组合成区间。接着，算法会计算每个相邻区间的卡方值，并将卡方值最小的两个相邻区间进行合并。这个过程会一直持续下去，直到满足设定的停止条件。 离散化分箱可以帮助我们更好地理解数据的分布情况，同时也可以减少数据的复杂性。例如，在某个数据集中，我们可以将收入这个连续变量进行离散化分箱，将收入分成低、中、高三个区间，这样可以更好地理解不同收入水平对其他变量的影响。 总的来说，chimerge离散化分箱是一种有效的数据处理方法，可以帮助我们更好地理解和分析数据的特征，也为后续的建模和分析提供了更加清晰和简化的数据基础。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值