使用OpenRefine清洗数据实例

1.OpenRefine的下载与安装

进入OpenRefine官网

若选择第一种即Windows kit,则需要相应的Java环境且Java环境不支持高版本，若选择第二种即Windows kit with embedded Java, 则不需要Java环境更为简便，两种方法均为下载压缩包，并对其进行解压，解压后双击openrefine.exe运行

2.处理缺失数据

2.1为缺失数据添加默认值

针对不同类型添加不同的默认值，例如对于名字的列缺失则默认值为NULL，而对于人数或钱数等数字列默认值设为该列的平均值。
具体做法为鼠标点击空白单元格的edit，如图所示，输入设定的默认值，点击Apply to All Identical Cells

完成后则会显示你已更改的数目以及撤销动作undo

3.重命名列名

具体操作为选择某一列，点击edit the column,点击rename the column，输入列的新名称点击确定如图

例如将该列的名字director_name改为directors_name

4.移动列的顺序

由于数据的某些列是同一类型的但没有放到邻近的列所以杂乱无章，对数据管理时要调整某些列的顺序
例如将actor_2_name与actor_1_facebook_likes进行调换可以方便对比actor_1_facebook_likes与actor_3_facebook_likes的受欢迎度

5.总结

5.1OpenRefine简介

OpenRefine是一个开源软件，是可以观察和操纵数据的工具，它不仅可以快速简单地清理数据，还可以让非编程人员轻松地看见和使用数据，它类似于传统的Excel的表格处理软件，但工作方式更像数据库，以列和字段的方式工作，而非以单元格的方式工作，意味着OpenRefine不仅适合对新的行数据进行编码，而且功能十分强大。

5.2列的操纵

OpenRefine对于列的操作十分便利，具有隐藏、展开、按需要转换、移动、重命名、和删除操作，可以直观方便观察、分析和操纵数据。
缺点是列的移动不能指定插入的列数，只能向左、向右、到头部和到尾部移动比较繁琐

5.3分析数据

分析数据包括排序和各类透视功能还包括文本过滤和检重，相似类型或文本的聚类操作，在选择数据时，有时筛选条件并不是那么严格时可能会选择好几类相似的数据，此时如果每次都要分别去选择特定的数据未免有些麻烦，此时就需要用聚类的方法对相似的数据类进行聚类，它提供了方便的聚类操作，可以清楚分类

5.4具有项目操作历史和导出项目

OpenRefine项目创建后，会在项目创建后保存所有的操作步骤，所以可以随便尝试各种变换数据
还可以将操作完成后的数据以csv、tsv、excel和open document格式还有不常用的RDF格式，还可以导出openrefine压缩包和自定义导出设置等