数据清洗工具OpenRefine

               

数据清洗工具OpenRefine

作者：chszs，转载需注明。博客主页： http://blog.csdn.net/chszs

数据经常被称为一座金矿，尤其是在当今数据驱动的经济环境下更是如此。
怎样把数据集在OpenRefine中进行转换，优化数据的质量以便于在真实场景下重用它们。

一、介绍OpenRefine

我们来看一个残酷的现实：你的数据是杂乱无章的。错误会散步到你的大数据集中，无论你有多么细心，错误总是存在。数据量越大，错误越多。

正确且清晰地认识以上的现状，是我们开始使用OpenRefine的前提。于是有了数据质量的说法。
下面先熟悉三个基础概念。

数据剖析Data Profiling：也叫做数据考古（Data Archeology），是数据集（Data Set）内部为达一致性、单值性和逻辑性而进行的数值质量的统计分析及评估。数据剖析是Olson于2003年提出的概念，使用分析技术来发现正确的、结构化的、有内容、有质量的数据。换句话说，它是评估你的数据和信息的当前状态以及包含了多少错误的方法。

数据清洗Data Cleaning：是尝试通过移除空的数据行或重复的数据行、过滤数据行、聚集或转换数据值、分开多值单元等࿰