大数据预处理之数据清洗

现实世界的数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理,噪声数据处理,以及不一致数据处理。本节介绍数据清洗的主要处理方法。

遗漏数据处理

假设在分析一个商场销售数据时,发现有多个记录中的属性值为空,如顾客的收入属性,则对于为空的属性值,可以采用以下方法进行遗漏数据处理。

1)忽略该条记录

若一条记录中有属性值被遗漏了,则将此条记录排除,尤其是没有类别属性值而又要进行分类数据挖掘时。

当然,这种方法并不很有效,尤其是在每个属性的遗漏值的记录比例相差较大时。

2)手工填补遗漏值

一般这种方法比较耗时,而且对于存在许多遗漏情况的大规模数据集而言,显然可行性较差。

3)利用默认值填补遗漏值

对一个属性的所有遗漏的值均利用一个事先确定好的值来填补,如都用“OK”来填补。但当一个属性的遗漏值较多时,若采用这种方法,就可能误导挖掘进程。

因此这种方法虽然简单,但并不推荐使用,或使用时需要仔细分析填补后的情况,以尽量避免对最终挖掘结果产生较大误差。

4)利用均值填补遗漏值

计算一个属性值的平均值,并用此值填补该属性所有遗漏的值。例如,若顾客的平均收入为 10000 元,则用此值填补“顾客收入”属性中所有被遗漏的值。

5)利用同类别均值填补遗漏值

这种方法尤其适合在进行分类挖掘时使用。

例如,若要对商场顾客按信用风险进行分类挖掘时,就可以用在同一信用风险类别(如良好)下的“顾客收入”属性的平均值,来填补所有在同一信用风险类别下“顾客收入”属性的遗漏值。

6)利用最可能的值填补遗漏值

可以利用回归分析、贝叶斯计算公式或决策树推断出该条记录特定属性的最大可能的取值。

例如,利用数据集中其他顾客的属性值,可以构造一个决策树来预测“顾客收入”属性的遗漏值。

最后一种方法是一种较常用的方法,与其他方法相比,它最大程度地利用了当前数据所包含的信息来帮助预测所遗漏的数据。

噪声数据处理

噪声是指被测变量的一个随机错误和变化。下面通过给定一个数值型属性(如价格)来说明平滑去噪的具体方法。

1. Bin 方法

Bin 方法通过利用应被平滑数据点的周围点(近邻),对一组排序数据进行平滑。排序后的数据被分配到若干桶(称为 Bins)中。

如图 1 所示,对 Bin 的划分方法一般有两种,一种是等高方法,即每个 Bin 中的元素的个数相等,另一种是等宽方法,即每个 Bin 的取值间距(左右边界之差)相同。

两种典型Bin划分方法
图 1  两种典型 Bin 划分方法

图 2 描述了一些 Bin 方法技术。首先,对价格数据进行排序,然后,将其划分为若干等高度的 Bin,即每个 Bin 包含 3 个数值,最后,既可以利用每个 Bin 的均值进行平滑,也可以利用每个 Bin 的边界进行平滑。

利用均值进行平滑时,第一个 Bin 中 4、8、15 均用该 Bin 的均值替换,利用边界进行平滑时,对于给定的 Bin,其最大值与最小值就构成了该 Bin 的边界,利用每个 Bin 的边界值(最大值或最小值)可替换该 Bin 中的所有值。

一般来说,每个 Bin 的宽度越宽,其平滑效果越明显。

利用 Bin 方法平滑去噪
图 2  利用 Bin 方法平滑去噪

2. 聚类分析方法

通过聚类分析方法可帮助发现异常数据。相似或相邻近的数据聚合在一起形成了各个聚类集合,而那些位于这些聚类集合之外的数据对象,自然而然就被认为是异常数据。

如图 3 所示。聚类分析方法的具体内容将在本章教程大数据挖掘中详细介绍。

基于聚类分析方法的异常数据监测
图 3  基于聚类分析方法的异常数据监测

3. 人机结合检查方法

通过人机结合检查方法,可以帮助发现异常数据。

例如,利用基于信息论的方法可帮助识别手写符号库中的异常模式,所识别出的异常模式可输出到一个列表中,然后由人对这一列表中的各异常模式进行检查,并最终确认无用的模式(真正异常的模式)。

这种人机结合检查方法比手工方法的手写符号库检查效率要高许多。

4. 回归方法

可以利用拟合函数对数据进行平滑。

例如,借助线性回归方法,包括多变量回归方法,就可以获得多个变量之间的拟合关系,从而达到利用一个(或一组)变量值来预测另一个变量取值的目的。

利用回归分析方法所获得的拟合函数,能够帮助平滑数据及除去其中的噪声。

许多数据平滑方法,同时也是数据消减方法,例如,以上描述的 Bin 方法可以帮助消减一个属性中的不同取值,这也就意味着 Bin 方法可以作为基于逻辑挖掘方法的数据消减处理方法。

不一致数据处理

现实世界的数据库常岀现数据记录内容不一致的问题,其中的一些数据可以利用它们与外部的关联,手工解决这种问题。

例如,数据录入错误一般可以通过与原稿进行对比来加以纠正。 此外还有一些方法可以帮助纠正使用编码时所发生的不一致问题。知识工程工具也可以帮助发 现违反数据约束条件的情况。

由于同一属性在不同数据库中的取名不规范,常常使得在进行数据集成时,导致不一致情况的发生。

推荐学习目录:11.大数据预处理架构和方法
12.数据清洗
13.数据集成
14.数据转换
15.数据消减
16.离散化和数值概念层次树
17.大数据处理技术
18.Google大数据处理系统
19.Hadoop大数据处理框架
20.HDFS

  • 11
    点赞
  • 75
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据竞赛实训环境搭建是指搭建一个实际的大数据竞赛实训环境,为参与者提供一个进行大数据处理数据清洗以及数据可视化的平台。搭建这个环境需要使用一些工具和技术,如Hadoop、Hive和数据可视化工具等。 首先,需要安装和配置Hadoop集群。Hadoop是处理大数据的核心工具,可以提供分布式存储和计算能力。安装Hadoop集群需要配置主节点和从节点,并设置好各节点的IP地址、端口号等参数。 接下来,需要安装Hive。Hive是一个建立在Hadoop之上的数据仓库工具,可以用于数据的存储、查询和分析。安装Hive需要配置相关的数据库和元数据存储。 在搭建完基本环境后,就可以进行大数据处理了。大数据处理是对原始数据进行处理和清洗,以便后续的分析和应用。可以使用Hive提供的SQL语句对数据进行筛选、过滤和转换操作,以及进行缺失值和异常值的处理。 在数据清洗完成后,就可以进行数据可视化了。数据可视化是将数据通过可视化图表的方式展示出来,以便于对数据进行分析和理解。可以使用一些数据可视化工具,如Tableau、Power BI等,来创建图表、仪表盘和报表,并将清洗后的数据导入其中。 综合题是将上述的大数据处理数据可视化结合起来进行综合应用。可以使用Hive对数据进行预处理和清洗,然后将清洗后的数据导入数据可视化工具中进行进一步的分析和可视化展示,如创建柱状图、折线图等各种图表形式,以及添加筛选条件、交互功能等,以得出更深入的洞察和结论。 总之,大数据竞赛实训环境搭建涉及到安装和配置Hadoop集群和Hive,进行大数据处理数据清洗,以及使用数据可视化工具进行数据可视化和分析。这个过程需要熟悉相关的工具和技术,并灵活运用它们,以便在实际的大数据竞赛中取得较好的成绩。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值