20190916——数据挖掘 数据离散化

最新推荐文章于 2024-03-29 15:15:38 发布
最新推荐文章于 2024-03-29 15:15:38 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： python数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36344771/article/details/100888671
版权

数据离散化

连续属性的离散化就是连续属性的值域上，将值域划分为若干个离散的符号或者整数，值代表落在每个子间中的属性值

在这里插入图片描述
像这组身高数据，但是每一个人还不想用具体的身高表示，
在这里插入图片描述
我们称之为one-hot编码，也叫作哑变量

如何实现数据的离散化

分组
sr = pd.qcut(data,组数)
sr = pd.cut(data,[]这个是自定义分组的区间)
将分组好的结果，转换成one-hot编码
pd.get_demies(sr,prefix=前缀)
在这里插入图片描述
关于这个的API
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

对股票进行离散化处理
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
进行数据离散化，在机器学习对特征进行运算，不能以字符串的形式
在这里插入图片描述

宫城诗
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《数据挖掘导论》学习笔记-离散化
oo笨小孩oo的专栏
12-08 7901
什么是离散化： 连续属性的离散化就是将连续属性的值域上，将值域划分为若干个离散的区间，最后用不同的符号或整数 值代表落在每个子区间中的属性值。 为什么要离散化 连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具。常见的正态假设是连续变量，离散化减少了对于分布假设的依赖性，因此离散数据有时更有效。 离散化的技术 根据数
数据挖掘笔记第三章——数据变换与数据离散化
renqianying325的博客
10-08 401
数据离散化是一种数据变换的形式 1.数据变换策略概述： 2.通过规范化变换数据 3.还可以通过分箱，直方图，聚类，决策树和相关分析离散化的方法进行离散化 4.概念分层： ...
数据挖掘知识点整理（期末复习版）
一只可爱的小猴子的博客
06-23 9525
DRIP（Data Rich，Information Poor） 3v : volume、velocity、Varity 数据量由TB级发展到ZB级 数据多样性从结构化转变为非结构化和结构化数据 数据传输的速度非常快 大数据导致难以应对的存储和计算量 数据挖掘就是从数据中发现知识。 从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的、和可能有用的模式或知识。 数据挖掘并非全自动的过程，在各个环节都可能需要人为参与。 公共安全：挖掘犯罪的规律，预防犯罪或者是减少犯罪的发生 个性化医疗：对DN
数据预处理：离散化
最新发布
Java/Python大数据成长之路
03-29 1132
离散化（也称量化或分箱）是一种数据预处理技术，用于将连续的数值型的数据转换为离散的分类的标签。某些具有连续特征的数据集可能会从离散化中受益，因为离散化可以将连续属性的数据集转换为仅具有名义属性的数据集这种处理方式主要应用于一些需要转化为分类问题的数据集，如机器学习和数据挖掘中的输入变量。离散化的原理主要是通过将连续的数值属性转化为离散的数值属性来实现数据的转化这个过程通常会采用分箱（Binning）的方法。
数据挖掘-数据离散化 python实现
qq_45047246的博客
02-13 1086
数据挖掘-数据离散化 python实现 # -*-coding:utf-8-*- """ Author: Thinkgamer Desc: 代码4-2 基于信息熵的数据离散化 """ import numpy as np import math class DiscreteByEntropy: def __init__(self, group, threshold): self.maxGroup = group # 最大分组数
数据挖掘技术与应用：离散化连续型数据
u011062044的博客
05-17 1931
离散化连续型数据 准备数据 准备数据detail.csv”，并将数据文件detail.csv放到到Linux本地的/course/DataAnalyze/data目录,并读取数据 In[1]: import os import pandas as pd import numpy as np os.chdir('/course/DataAnalyze/data') detail = pd.read_csv('./detail.csv',enco
数据挖掘上机作业——ID3算法.rar
11-13
在这个上机作业中，我们将专注于一种经典的数据挖掘算法——ID3（Iterative Dichotomiser 3），它主要用于构建决策树模型。 ID3算法是由Ross Quinlan在1986年提出的，主要应用于分类问题。决策树是一种直观易懂的...
数据挖掘——概念与技术
01-09
2. 数据预处理：在数据挖掘之前，通常需要对原始数据进行预处理，包括数据清洗（去除噪声、不一致和缺失值）、数据集成（合并来自不同源的数据）、数据转换（如规范化、离散化）以及数据规约（降低数据复杂性，如...
毕业设计论文-数据挖掘技术
08-25
能够处理不完整的数据、对连续属性的数据离散化 处理以及克服了 ID3 算法偏向于选择取值较多的属性作为测试属性的缺点的 C4.5 算法;利用 GINI系数判别数据集中的分裂属性并形成二叉树的CART算法; 使数据的分类不受...
数据挖掘课设—-适合练练手
12-22
在这个“数据挖掘课设”中，学生们选择了两种经典的决策树算法——ID3（Iterative Dichotomiser 3）和C4.5，来进行数据分析和处理。这两种算法在分类任务中广泛应用，通过构建决策树模型来预测目标变量。 ID3算法...
DMS.zip_dms_数据挖掘系统
09-20
3. **模式发现**：这是数据挖掘的核心，包括分类（预测离散值）、聚类（发现数据的自然群体）、回归（预测连续值）、序列模式发现和异常检测等。 4. **模式评估**：找到的模式需要通过评估其准确性和实用性来验证，...
机器学习与数据挖掘中的Data Discretization（数据离散化）
weixin_43646592的博客
07-27 1223
 看到一些ML任务中对数据预处理，会将连续型数值特征离散化，Why? Reason： 1.一些ML算法如DTree，NB，LR等都是基于离散型数值特征展开建模的。 2.相比连续型特征，离散型特征更易理解。 如一个人的颜值为1-10分。规定1-4为低颜值，5-7中等颜值，7-10高颜值，这样离散化后更易理解。 3.可以有效克服数据中隐藏的缺陷，是模型结果更稳定。 4.有效的离散化能减小算法时间和空间的开销，提高模型的分类、聚类、抗噪能力。 Method:   无监督：  以下方法的快速实现，可基于panda
数据挖掘工具pandas（十）离散化处理
TFATS的博客
05-26 550
一，什么是数据的离散化 连续属性的离散化就是将连续属性的值域上，将值域划分为若干个离散的区间，最后用不同的符号或整数 值代表落在每个子区间中的属性值。 二，qcut() import pandas as pd import numpy as np from matplotlib import pyplot as plt # 构造数据 temp = pd.DataFrame(np.random.normal(0,100,(500,505))) stock_list = ["股票"+ str(i) for i
【数据挖掘】2022数据挖掘之数据的高级处理（消除缺失值、数据离散化、合并等）
熊凯瑞的博客
11-09 827
数据挖掘方面的高级处理相关的知识，消除缺失值，数据离散化，合并，交叉透视表，分组聚合等。例子data = [ '一堆数据....' ] # 首先自定义范围 bins = [ 150 , 165 , 180 , 195 ] # 再自定义分组 sr = pd . cut(data , bins) # 查看每一组的分组情况 sr . value_counts()
机器学习——特征工程——数据离散化（时间离散，多值离散化，连续数据离散化，分位数，聚类法，频率区间，二值化）
huangguohui_123的博客
04-29 8101
离散化：就是把无限空间中有限的个体映射到有限的空间中。数据离散化操作大多是针对连续数据进行的，处理之后的数据值域分布将从连续属性变为离散属性。 离散化方式会影响后续数据建模和应用效果： 使用决策树往往倾向于少量的离散化区间，过多的离散化将使得规则过多受到碎片区间的影响。 关联规则需要对所有特征一起离散化，关联规则关注的是所有特征的关联关系，如果对每个列单独离散化将失去整体规则性。...
数据规范化与数据离散化
IST-CTO
10-02 3571
为了消除指标之间的量纲和取值范围差异的影响，需要进行标准化处理，将数据按照比例进行缩放，使之落入一个特定的区域，便于进行综合分析。
【数据离散化】
来日浅谈的博客
12-01 880
【数据离散化】1. 什么是离散化2. 离散化的方法2.1 使用数组标记实现2.2 通过STL中的函数实现2.2.1 unique 函数2.2.2 通过数组实现2.2.3 通过vector实现 很多算法的复杂度与数据中的最大值有关，比如树状数组和纯用数组实现的一对一标记。 时常会遇到这种情况： 数据的范围非常大或者其中含有负数，但数据本身的个数并不是很多（远小于数据范围）。 在这种情况下，如果每...
pandas高级处理-数据离散化
IT之一小佬的博客
02-27 1163
pandas高级处理-数据离散化 1 为什么要离散化 连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具。【简化数据，让数据用起来更加高效】 2 什么是数据的离散化 连续属性的离散化就是在连续属性的值域上，将值域划分为若干个离散的区间，最后用不同的符号或整数值代表落在每个子区间中的属性值。【把一些数据分别分到某个区间，最后用不同的符号或者数字表达】 离散化有很多种方法，这使用一种最简单的方式去操作 原始人的身高数据：165，.
【数据挖掘】数据变换与离散化讲解与实战（超详细 附源码）
showswoller的博客
01-06 1096
【数据挖掘】数据变换与离散化讲解与实战（超详细 附源码）
DataFrame————数据离散化处理（元素定位与离散化处理）
05-23
数据离散化处理是将连续型数据转换为离散型数据的过程，可以将数据划分为若干个区间（也称为“桶”），每个区间内的数据被视为相同的离散值。数据离散化处理通常用于数据挖掘、统计分析等领域。 在 Pandas 中，可以使用 cut() 和 qcut() 函数进行数据离散化处理。 cut() 函数将数据按照指定的区间划分为离散值，可以根据数据的最大值和最小值自动生成等距区间，也可以手动指定区间范围。 例如，下面的代码将一个 DataFrame 中的元素离散化为 5 个区间： ```python import pandas as pd data = pd.DataFrame({'value': [12, 34, 56, 78, 90, 23, 45, 67, 89, 100]}) bins = pd.cut(data['value'], 5) print(bins) ``` 输出结果为： ``` 0 (9.92, 28.8] 1 (28.8, 47.6] 2 (47.6, 66.4] 3 (66.4, 85.2] 4 (85.2, 104.0] 5 (9.92, 28.8] 6 (28.8, 47.6] 7 (47.6, 66.4] 8 (66.4, 85.2] 9 (85.2, 104.0] Name: value, dtype: category Categories (5, interval[float64]): [(9.92, 28.8] < (28.8, 47.6] < (47.6, 66.4] < (66.4, 85.2] < (85.2, 104.0]] ``` qcut() 函数将数据按照指定的分位数划分为离散值，可以根据数据的分布自动生成区间，也可以手动指定分位数。 例如，下面的代码将一个 DataFrame 中的元素离散化为 4 个区间： ```python data = pd.DataFrame({'value': [12, 34, 56, 78, 90, 23, 45, 67, 89, 100]}) bins = pd.qcut(data['value'], 4) print(bins) ``` 输出结果为： ``` 0 (11.999, 34.0] 1 (34.0, 56.0] 2 (56.0, 78.0] 3 (78.0, 100.0] 4 (78.0, 100.0] 5 (11.999, 34.0] 6 (34.0, 56.0] 7 (56.0, 78.0] 8 (78.0, 100.0] 9 (78.0, 100.0] Name: value, dtype: category Categories (4, interval[float64]): [(11.999, 34.0] < (34.0, 56.0] < (56.0, 78.0] < (78.0, 100.0]] ``` 在上面的例子中，cut() 函数和 qcut() 函数都返回了一个 Pandas 的 Categorical 类型的对象，可以通过 value_counts() 方法来统计每个区间内的元素个数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值