FME操作数据基本流程介绍

随着社会生产水平的发展与历史业务量的积累，不动产空间数据存在数据量庞大、数据源头格式多、各个数据源同一内容描述不一致等问题。传统的地理信息系统软件在处理这类数据的时候存在操作步骤多、操作过程不可复用、支持的数据量小等弊端，处理起来费时费力。

数据转换与目标FME是由加拿大Safe Software公司开发的数据转换处理系统，拥有完备的数据处理方法，支持处理海量的地理空间数据和属性数据，能够高效快速的进行各种类型数据的转换和处理。

FME的工程搭建采用的是可视化的建模工作流形式，支持任意数据量的数据源和数据处理转换器的自由组合。因此针对多源异构的数据，我们能够方便快捷地进行数据清洗、数据融合、数据格式输出等操作。

针对海量数据的前期数据清理环节，FME提供诸如条件筛选、属性暴露、属性保留等简单的数据过滤模块，也支持使用SQL语句、正则表达式等高级的过滤方法，各类方法模块之间还可以相互组合，或者作为输出以供下个数据处理模块使用。

在多源异构数据的融合环节，FME提供基于共同键值来实现数据融合的方法。经过数据清洗的阶段，只要多源异构的数据源之间存在共同且唯一的键值，就能基于共同键值实现空间数据和属性数据之间的合并操作。因为是可视化建模与运行，在工程运行期间就能看到融合成功与融合失败的数据量并进行输出查验，有利用后续的数据分析与纠正。

在完成数据融合之后需要进行属性数据的转换与映射，FME提供属性操作器和属性映射器，支持基于字典表的属性映射。结合字符串拼接模块、条件判断模块，和利用正则表达式，能够方便快捷地实现属性内容转换、属性数据规范化等操作。

在最后的目标格式数据输出环节，FME能够读取现有的数据源格式来作为数据流的输出格式，并且自动匹配字段名称一致的属性项内容，省去了重复设置数据格式的繁琐操作。