openRefine使用报告

一、openrefine简介

无论是现今的大数据还是企业内部的小数据，都存在一些普遍的问题，如数据格式不对需要转换，一个单元格内包含多个含义的内容，包含重复项等等，虽然我们也可以使用excel解决，但是excel天生有诸多限制，比如其为直接对数据进行操作，容易导致误操作；数据量大会处理缓慢；透视表功能太过简单；无法进行高级的数据分类分析。而OpenRefine很好的解决了以上问题。

数据清洗Data Cleaning：是尝试通过移除空的数据行或重复的数据行、过滤数据行、聚集或转换数据值、分开多值单元等，以半自动化的方式修复错误数据的过程。数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题，解决问题。对于是否过滤，是否修正一般要求客户确认。

IDTs：Interactive Data Transformation tools，交互数据转换工具，它可以对大数据进行快速、廉价的操作，使用单个的集成接口。

OpenRefine就是这样的IDT工具，可以观察和操纵数据的工具。它类似于传统Excel的表格处理软件，但是工作方式更像是数据库，以列和字段的方式工作，而不是以单元格的方式工作。这意味着OpenRefine不仅适合对新的行数据进行编码，而且功能还极为强大。

二、下载及安装

openrefine的下载：从http://OpenRefine.org上下载软件
安装：安装比较简单，选好安装目录，按提示安装即可，要知道openrefine是基于java环境的，要保证电脑上有最新的Java环境；默认情况下，openrefine会分配1G内存给java，想要处理大数据，可以扩展内存。

三、初识openrefine

1.创建一个新项目

以下是部分OpenRefine支持的文件格式：

●csv、tsv及其他*sv

●xls/xlsx、cdf、ods

●JSON

●XML

●行文本格式（比如log文件）

如果你需要打开其他格式文件，你可以通过OpenRefine扩展功能打开。

创建OpenRefine项目十分简单，只需要三步：选择文件、预览数据内容、确认创建。让我们通过点击“创建项目”标签页、选择数据集、点击下一步来创建新项目。

2.操纵列
列是OpenRefine中的基本元素：其是具有同一属性的成千上万的值的集合，可以按照很多方法查看处理。
列在OpenRefine中的操作有隐藏和展开（View菜单）、按需要转换、移动以及重命名和删除（Edit菜单）。
通过操纵列可以更加直观方便的观察数据，分析数据，操作数据。

3.