利用FME整理数据的六个步骤

按照以下步骤将原始数据转换为有用的格式，方便我们更好的利用数据。当我们被问到“数据整理对你来说意味着什么？”，您的回答也许会包含一些很好的定义和类比：

（1）“掌握您的数据”。

（2）“卷起袖子与数据搏斗”。

（3）“将数据分组在一起，并使其朝着同一目标发展”。

（4）“将数据整理在一起。”

    从形式上讲，数据整理是将数据从原始格式转换为更有用的格式的过程，使其对分析和表达更有价值。数据往往是凌乱的，它分散在不同的系统和格式中，被困在旧程序或无法利用的格式中，并且充满了错误。“整理”数据的形容是准确的，因为管理不同的系统并将数据转换为有用的东西会让人感到杂乱无章。

    当数据得到妥善整理时，便于企业增强洞察力并做出更好的决策。让我们来看看使用FME进行数据整理的六个步骤，它将把数据从分散和混乱中带入一个有价值的格式，以便进行分析。

    FME是对空间数据提供最佳支持的数据集成平台。它可以帮助您减少与数据斗争的时间，而将更多的时间用于使用它。

1.数据探索

    您拥有哪些数据，哪些数据是您所需要的？

    数据整理的第一步是收集数据，检查数据并了解数据。例如，在下面的数据集中，我们可以看到数据集包含不一致的日期格式，以及一些null值。它还包含位置信息，但是该位置信息几乎无用，如果我们将其转换为点几何形状会更好。那么请你思考一下，如果是你会如何清理这些数据呢？

 在FME Data Inspector中查看失物招领宠物数据集

2.数据结构化

    接下来，组织原始数据，使其更有用，更易于分析。

例如，在上述的数据集中，日期格式不一致，FME的“DateTimeConverter”转换器可以自动格式化日期-时间值，从而轻松标准化文件中的所有日期（例如，将所有日期转换为ISO日期）。

3.数据丰富化

    考虑在数据集中还有哪些其他有用的信息。

例如，可以从其他来源收集空间位置、卫星图像、日期和时间、客户数据库或历史数据并与数据集合并。

    在我们的失物招领宠物示例中，我们已经有一个位置列，但它不是很有用。如果该位置是实际的点几何图形，则会更好。我们可以使用一系列转换器将纬度值转换为点几何图形，从而使我们能够在地图上查看数据。

    “VertexCreator”或“CoordinateExtractor”转换器可用于处理经纬度值或XY坐标。下面的“FME Workbench”屏幕截图显示了使用“CoordinateExtractor”转换器的工作流，左边包含属性坐标，右边包含其各自的点几何图形。

 

4.数据验证

    数据验证是任何工作流程的重要组成部分。

检查正确性、完整性和是否符合标准始终是一种很好的做法。检查空值，检查几何图形，检查架构，检查可能损害数据集质量和有用性的任何内容。

    例如，在我们的失物招领宠物数据集中，我们可以识别空值并将其替换为文本“Unknown”。

 

此步骤使用的FME转换器包括：

（1）Tester

（2）TestFilter

（3）AttributeValidator

（4）GeometryValidator

（5）XMLValidator

（6）JSONValidator

（7）NullAttributeMapper

条件值对于基于条件设置字段也很有用。

5.数据清理

    在应用一组验证规则后，就可以清理数据了。

您可以使用FME的“AttributeRemover”转换器在此处删除多余的列或属性，不然会在工作流的最后一步输出这些属性。

6.数据发布

    数据整理的最后一步是以最有用的方式共享数据。

这可以像将其写入可共享的格式并将其放入文件夹（如PDF、电子表格或文档）一样简单。您也可以将其发送到另一个系统（如商业智能软件）进行分析。

此步骤使用的FME转换器包括：

（1）HTMLReportGenerator

（2）PDFStyler和PDFPageFormatter

（3）ExcelStyler

（4）MSWordStyler

    您还可以通过Web应用程序或门户共享它，以便任何人都可以以自己喜欢的格式访问数据。在下面的示例中，我们创建了一个FME Server Web APP，以允许用户在数据集中搜索特定的宠物名称，并获取表和web地图。

 

当您使用这六个步骤将数据从混乱到可管理时，您可以获得有价值的信息。上面推荐的转换器和功能将会有所帮助，在FME Server中创建Web应用程序将允许您创建一个界面，以便在最后一步中轻松共享。