数据预处理4:处理连续型特征~二值化与分段

最新推荐文章于 2023-08-07 15:06:00 发布
最新推荐文章于 2023-08-07 15:06:00 发布
阅读量350 收藏 3
点赞数
分类专栏： 机器学习技法 文章标签： python scikit-learn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51871375/article/details/120760983
版权

1.二值化

  • 大于阈值的值映射为1，而小于或等于阈值的值映射为0。 默认阈值为0时，特征中所有的正值都映射到1。
  • 常用于文本计数统计
  • sklearn.preprocessing.Binarizer
    在这里插入图片描述
    以此为例
from sklearn.preprocessing import Binarizer
X = data_2.iloc[:,0].values.reshape(-1,1)
#类为特征专用，所以不能使用一维数组

transformer = Binarizer(threshold=30).fit_transform(X)
#以30为分界线

2.分段

  • from sklearn.preprocessing import KBinsDiscretizer
  • n_bins分箱的个数默认为5
  • encode :[“one hot”,“ordinal”,“onehot-dense” ]默认onehot
    “ordinal”:每个特征的每个箱都被编码为一个整数，返回每一列是一个特征，每个特征下含有不同整数编码的箱的矩阵。
  • strategy用来定义箱宽的方式默认是"quantile"
    “uniform”:等宽分箱 like 20-40-60
    “quantile”:等位分箱，每个箱子内的样本数量都相同
    “kmeans”:按聚类分箱
from sklearn.preprocessing import KBinsDiscretizer
#取age那一列
X = data.iloc[:,0].values.reshape(-1,1)

est = KBinsDiscretizer(n_bins=3,encode='ordinal',strategy='uniform')
est.fit_transform(X)

array([[0.],
[1.],
[0.],
[1.],
[1.],
[1.],
[2.],
[0.],
[1.],
[0.],
[0.],
[2.],
[0.],
[1.],
[0.],
[2.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[2.],
[1.],
[1.],
[1.],
[0.],
[0.],
[0.],
[1.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[0.],
[1.],
[1.],
[2.],
[1.],
[0.],
[1.],
[0.],
[0.],
[0.],
[1.],
[0.],
[1.],
[1.],
[1.],
[0.],
[0.],
[0.],
[1.],
[0.],
[0.],
[0.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[0.],
[1.],
[1.],
[1.],
[0.],
[1.],
[0.],
[1.],
[0.],
[0.],
[1.],
[0.],
[1.],
[0.],
[2.],
[1.],
[2.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[0.],
[0.],
[0.],
[2.],
[1.],
[0.],
[0.],
[0.],
[1.],
[1.],
[1.],
[2.],
[0.],
[1.],
[0.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[0.],
[0.],
[1.],
[0.],
[0.],
[1.],
[0.],
[0.],
[0.],
[0.],
[0.],
[1.],
[0.],
[1.],
[1.],
[1.],
[0.],
[2.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[0.],
[0.],
[1.],
[1.],
[1.],
[1.],
[2.],
[0.],
[0.],
[0.],
[2.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[0.],
[1.],
[2.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[1.],
[0.],
[0.],
[1.],
[0.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[0.],
[0.],
[1.],
[1.],
[1.],
[2.],
[0.],
[0.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[0.],
[1.],
[2.],
[1.],
[1.],
[2.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[2.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[2.],
[1.],
[1.],
[0.],
[1.],
[2.],
[1.],
[0.],
[0.],
[1.],
[1.],
[1.],
[0.],
[1.],
[0.],
[0.],
[0.],
[1.],
[0.],
[0.],
[1.],
[0.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[0.],
[1.],
[1.],
[0.],
[0.],
[0.],
[1.],
[1.],
[0.],
[0.],
[2.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[2.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[1.],
[0.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[0.],
[1.],
[0.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[2.],
[1.],
[1.],
[0.],
[0.],
[0.],
[0.],
[0.],
[0.],
[1.],
[0.],
[1.],
[0.],
[0.],
[1.],
[0.],
[1.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[0.],
[1.],
[0.],
[1.],
[0.],
[0.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[0.],
[1.],
[0.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[0.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[0.],
[0.],
[0.],
[2.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[0.],
[0.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[2.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[2.],
[1.],
[0.],
[1.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[1.],
[0.],
[0.],
[0.],
[1.],
[1.],
[2.],
[0.],
[1.],
[1.],
[2.],
[1.],
[0.],
[1.],
[0.],
[2.],
[2.],
[0.],
[1.],
[2.],
[1.],
[0.],
[0.],
[0.],
[0.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[2.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[0.],
[1.],
[0.],
[0.],
[1.],
[1.],
[2.],
[0.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[0.],
[0.],
[2.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[1.],
[2.],
[1.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[2.],
[1.],
[1.],
[0.],
[1.],
[2.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[0.],
[0.],
[0.],
[1.],
[1.],
[0.],
[0.],
[0.],
[2.],
[2.],
[0.],
[0.],
[1.],
[2.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[0.],
[1.],
[0.],
[1.],
[0.],
[2.],
[1.],
[0.],
[1.],
[0.],
[0.],
[1.],
[0.],
[0.],
[1.],
[1.],
[0.],
[2.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[2.],
[1.],
[1.],
[0.],
[0.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[2.],
[0.],
[0.],
[0.],
[0.],
[0.],
[1.],
[0.],
[1.],
[0.],
[2.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[0.],
[0.],
[0.],
[1.],
[1.],
[1.],
[0.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[0.],
[1.],
[0.],
[1.],
[0.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[1.],
[2.],
[0.],
[1.],
[0.],
[1.],
[0.],
[0.],
[1.],
[0.],
[1.],
[0.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[2.],
[1.],
[2.],
[0.],
[1.],
[0.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[0.],
[0.],
[0.],
[0.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[0.],
[0.],
[1.],
[0.],
[0.],
[1.],
[0.],
[1.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[1.],
[0.],
[2.],
[0.],
[0.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[1.],
[1.],
[1.],
[1.],
[0.],
[0.],
[0.],
[1.],
[2.],
[0.],
[1.],
[0.],
[1.],
[0.],
[1.],
[1.],
[0.],
[1.],
[0.],
[1.]])

#查看转换后分的箱：变成了一列中的三箱
#ravel降维
set(est.fit_transform(X).ravel())

{0.0, 1.0, 2.0}

est = KBinsDiscretizer(n_bins=3, encode='onehot', strategy='uniform')
#n_bins 1 0 0 ~=3
#查看转换后分的箱：变成了哑变量
est.fit_transform(X).toarray()

array([[1., 0., 0.],
[0., 1., 0.],
[1., 0., 0.],
…,
[0., 1., 0.],
[1., 0., 0.],
[0., 1., 0.]])

Aksinia
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习中连续型特征的二值化与分段，一文读懂
weixin_43776305的博客
05-27 841
文章目录
SPSS（基础篇05）--连续变量数值的最优分段
dogdogggg的博客
02-02 2678
连续变量数值的最优分段 文章目录连续变量数值的最优分段前言1. 最优分箱（出现了问题） 前言 最优分箱： 可视分箱，操作简单，适合如04节所说的简单分箱方法，比如：等距、等量、标准差。 可视分箱没有考虑建模时怎样最优化，因此在SPSS中推出了最优分箱。 对前述（04节）的可视化分段的进一步自动化； 用于 建模分析前，对连续变量的最优分段方式进行探索（变量如何切，能使得建模效果达到最好）； 根据某些作为“关键指示变量”的分类变量（因变量），将原有的一个或多个连续变量按照==该分类变量 类间差异最大化（对
数据预处理ppt(内容包括总体介绍_标准化与正则化_缺失值处理_降维处理)
12-26
笔者在给同事培训“数据预处理”专题时使用的ppt，共3讲。分别是： 数据预处理1_总体介绍_标准化与正则化 数据预处理2_缺失值处理 数据预处理3_降维处理 主要内容是对数据预处理的框架式总结，来源均来自互联网（如有侵权请评论告知，谢谢）。
机器学习：决策树(二) ——对于连续值的二值化处理
JacksonKim的博客
05-03 1585
一、简介 对于连续值，最简单得方法就是采用二分法对连续属性进行除了，这正是C4.5决策树算法中采用的机制。 那要取哪个值进行二分呢？简单的用中位数的方法可能会使得训练不如预期，所以我们要选择划分之后信息增益最大的划分点。对于属性a，我们有下面n-1个元素可以被选作划分点。 信息增益定义为： 其中Gain(D,a,t)是样本集D基于划分...
读书笔记 -- 007_数据挖掘_聚类_基于划分的方法
HH的专栏
12-12 3403
- - 概述 - - 聚类分析最简单、最基本的版本是划分，它把对象组织成多个互斥的组或簇。为了使得问题说明简洁，我们假定簇的个数作为背景知识给定。这个参数是划分方法的起点。 形式地，给定 n 个数据对象的数据集 D，以及要生成的簇个数 k，划分方法把数据对象组织成 k ( k <= n )个分区，其中每个分区代表一个簇。这些簇的形成旨在优化一个客观划分准则，如基于距离的相异性函数
二值化_处理连续型特征：二值化与分段
weixin_39954698的博客
01-12 563
preprocessing.Binarizer 根据阈值将数据二值化(将特征值设置为0或1)，用于处理连续型变量。大于阈值的值映射为1，而小于或等于阈值的值映射为0。默认阈值为0时，特征中所有的正值都映射到1。 二值化是对文本计数数据的常见操作，分析人员可以决定仅考虑某种现象的存在与否。它还可以用作考虑布尔随机变量的估计器的预处理步骤(例如，使用贝叶斯设置中的伯努利...
处理连续性变量--二值化与分段
Cupid_kl的博客
08-07 166
根据阈值将数据二值化（将特征值设置为0或者1），用于处理连续型变量。大于阈值的值映射为1，小于阈值的值映射为0。二值化是对文本数据常见的处理方式。
数据预处理：二值化与分段（连续型特征）
weixin_40100502的博客
02-08 1059
Binarizer类和KBinsDiscretizer类 1：根据阈值将数据二值化（将特征值设置为0或1），用于处理连续型变量。大于阈值的值映射为1，而小于或等于阈值的值映射为0。默认阈值为0时，特征中所有的正值都映射到1。 观察数据 from sklearn.preprocessing import Binarizer # 把大于30的年龄的人分类到1，小于30的为0 # 类为特征专用，不能使用一维数组 X = data.iloc[:, 0].values.reshape(-1, 1) trans
3-2 特征二值化
weixin_46227276的博客
05-23 305
特征二值化 请参考《数据准备和特征工程》中的相关章节，调试如下代码。 基础知识 import pandas as pd pm25 = pd.read_csv("/home/aistudio/data/data20505/pm2.csv") pm25.head() RANK CITY_ID CITY_NAME Exposed days 0 1 594
数据预处理：处理连续型特征-二值化与分段
weixin_41798592的博客
09-25 1822
处理连续型特征：二值化与分段 sklearn.preprocessing.Binarizer 根据阈值将数据二值化（将特征值设置为0或1），用于处理连续型变量。大于阈值的值映射为1，而小于或等于阈 值的值映射为0。默认阈值为0时，特征中所有的正值都映射到1。二值化是对文本计数数据的常见操作，分析人员 可以决定仅考虑某种现象的存在与否。它还可以用作考虑布尔随机变量的估计器的预处理步骤（例如，使用贝叶...
04.数据预处理——处理分类型数据&连续型特征：二值化和分段.ipynb
06-19
04.数据预处理——处理分类型数据&连续型特征：二值化和分段.ipynb
python数据预处理方式 :数据降维
12-20
特征选择指根据一定的规则和经验，直接在原有的维度中挑选一部分参与到计算和建模过程，用选择的特征代替所有特征，不改变原有特征，也不产生新的特征值。 特征选择的降维方式好处是可以保留原有维度特征的基础上...
计算机视觉深度学习 数据预处理 比如：生成巨量图片数据时候.zip
最新发布
03-03
人工智能-项目实践-数据预处理
机器学习小组第二期第三周：简单的数据预处理和特征工程
12-22
目录1.归一化1.1.最值归一化(normalization)1.2....处理连续型特征：二值化与分段 1.归一化 问题：在量纲不同的情况下，不能反映样本中每一个特征的重要程度。 方案：数据归一化，即标准化。把所有的数据都映射到同一
数据挖掘课程小结
大头的博客
01-04 2369
目录数据预处理2、特征工程2.1、特征构建2.2、特征提取2.3、特征选择2.3.1、过滤法2.3.2、嵌入法2.3.3、包装法3、无监督学习3.1、聚类分析3.1.1、聚类分析概述3.1.2、相似性度量3.1.2.1、连续性属性相似性3.1.2.2、二值离散型属性相似性3.1.2.3、多值离散属性相似性3.1.2.4、混合类型属性相似性 数据预处理 数据挖掘课程小结——1）数据预处理 未完待续。。。 2、特征工程 2.1、特征构建 特征构建即从原始数据中把现有特征进行组合，或互相计算，得到新的特征
数据挖掘（二）分类
u012950655的专栏
11-25 2335
2、分类 1、过分拟合问题： 造成原因有：（1）噪声造成的过分拟合（因为它拟合了误标记的训练记录，导致了对检验集中记录的误分类）；（2）根据少量训练记录做出分类决策的模型也容易受过分拟合的影响。（由于训练数据缺乏具有代表性的样本，在没有多少训练记录的情况下，学习算法仍然继续细化模型就会产生这样的模型，当决策树的叶节点没有足够的代表性样本时，很可能做出错误的预测）（3）多重比较也可能会导致过分拟
python数据挖掘之K-Means 二分K-means K-means++ 以及DBSCAN算法的实战应用(超详细必看）
showswoller的博客
10-18 852
python数据挖掘之 K-means 二分K-means K-means 以及DBSCAN算法的实战应用(超详细必看） 包括k-means方法的两种变体的应用 附带源码
数据挖掘十大算法（二）------决策树算法
ws_Ando的博客
02-21 1329
  一、决策树模型算法 决策树模型算法是一类算法，不单单指的一个算法，最基本也是最主要的是Hunt算法、ID3算法、C4.5算法和CART算法。 决策树算法本质上还是解决分类问题。 分类问题总述：给定一个数据集，我们需要训练出（或建立出）一个模型 f 。当出现一组新的特征向量时，预测（或判断）拥有这样一组新特征向量的对象是属于哪个类别。 决策树分类：对实例进行分类的树形结构。决策树包含节...
任务五 处理连续型数据
m0_62309595的博客
08-04 811
根据阈值将数据二值化（将特征值设置为0或1），用于处理连续型变量。大于阈值的值映射为1，而小于或等于阈值的值映射为0。缺失值较多时，用热力图查看与该特征关联度较大的几个特征，根据这几个特征求取中值，没有时求取直接使用整段中值。标签转换 将class里的b'tested_positive'转为1 negative转为0。使用 KBinsDiscretizer。缺失值较少时直接用中值填补。函数read_excel。...
数学建模数据预处理异常值处理
04-30
在数学建模中，数据预处理和异常值处理都是非常重要的步骤。下面我会简单介绍一下这两个步骤的含义和方法。 数据预处理： 数据预处理是指对原始数据进行处理，以便于后续的分析和建模。数据预处理可以包括以下几个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值