提高数据融合效率和数据成果质量工作流的可行性分析

第一章 引言

        本文基于对框架数据、地名地址数据以及变更调查数据为主体数据源的分析，结合数据融合中分层数据处理原则和内容，从数据管理者、数据应用的角度提出数据质量的定位、需求定位，归纳数据融合过程中存在的困难，提出了数据质检工具集、数据处理辅助工具集的研发计划，对提高数据融合的效率和提高数据生产的质量有着重要的意义。

1.1 编写目的

        为适应信息化环境下国家政府部门、社会公众服务对地理信息的迫切需求，满足数字城市、智慧城市、电子政务、时空信息云平台等建设对地理信息的需要，规范省级基础地理框架数据的生产，参照国家及测绘行业等相关标准和规范并结合云南省实际情况，本文档从矢量数据的质量定位、需求定位出发，描述了数据定位者对数据的预期要求，对云南省框架数据的分层数据、分项内容进行数据问题分析汇总，针对数据融合过程中的困难提出了质检工具集、数据处理辅助工具集研发计划，并初步对各图层内容进行了数据融合要求和规则的整理。

        方案贯穿矢量数据在融合过程中对数据质量检查、数据生产辅助工具的需求、有效的数据融合工作流梳理以及工作方案的可行性方面进行了分析说明。旨在研究出系列质检工具、数据处理工具，完善数据融合工作流，解决在矢量数据生产过程中出现的生产效率低、生产成果质量缺少检验手段、实际作业成果与业务需求不相符等问题，对提高数据融合的效率和提高数据生产的质量有着重要的意义。

1.2 预期读者

        预期读者对象包括长期从事数据生产任务、数据处理工具研发、项目管理的项目经理、研发经理、开发人员、测试人员、相关业务人员等。

1.3 术语

• 数据融合：从不同数据源、不同数据精度和不同数据模型的地理空间数据中择优选取所需要的信息，构建新的地理空间数据集。

• 平面位置精度：地物要素在地理空间数据中的平面位置坐标值与其真实坐标值的吻合程度。

• 几何表达精细度：地物要素在地理空间数据中表达的详细程度。

• 同名地物：指在不同来源的地理空间数据中表达的同一个相同地物。

• 属性规整：指对不同要素的图层属性字段进行规范整理。

• 逻辑删除：指对融合对象的地理实体通过属性字段作标识删除。

• 地名点查重：查找实体对象位置和名称均相同的地名点。

第二章 数据内容

        从国家基本比例尺框架数据、变更调查数据等中提取、整合、实体化处理的基本的地理空间矢量数据，包括水系、居民地及设施、交通、境界与政区、植被、地名等基础地理信息数据。该类矢量数据一般经过相对有效的属性检查、接边处理、各级比例尺整合、实体化处理等操作。

        从商业途径获取的导航数据，收集的行业专题数据，以及提交的项目数据，由于数据的资料来源、数据精度、数据结构不尽相同，数据的规范性、现势性、拓扑关系等存在不一致，分层提取、合并处理时，势必存在属性结构规整、图形几何处理，要素空间关系处理以及数据接边等处理。

2.1 数据源分析

        选择表达准确、现势性好、精度高、内容全的要素进行融合更新，最终形成一套现势性好、精度高、内容丰富的省级核心框架数据。

融合数据源：

    （1）1：1万、1：5万、1：25万框架数据；

    （2）年度变更调查数据成果；

    （3）年度地名地址数据库成果；

    （4）民政部官网最新版本的行政区划代码资料；

    （5）互联网获取的公开的地理信息数据；

    （6）收集的行业专题数据或项目数据；

    （6）其他专题数据。

        结合国土变更调查、国情监测影像数据，对比分析数据源中的各分层数据，对现有的框架成果数据库（本文指1:1万）进行融合更新。

        数据分层与命名如下表所示，命名采用五个字符表示，前三个字符代表数据内容，后两个字符代表数据几何类型(PL：面；LN：线；PT：点;)。融合更新成果数据必须包括以下内容，但也可根据需要自行扩展数据集。空层保留。

2.2 总体技术流程

    数据融合更新总体技术路线如下图所示：

在进行数据处理时，总体上按以下处理流程进行：

    （1）如果数据源的坐标系统不一致，应首先进行坐标系统转换，使得数据源可以在统一的空间基准下准确套合。经过坐标系统转换的数据源在平面位置上仍存在较大误差时，有必要依据精度较高的数据源对精度较低数据源进行几何纠正；

    （2）要素分层提取：通过对不同数据源中的同类要素进行分析比对，依据现势性好、几何表达精确度高、平面位置准、信息内容丰富等原则进行，按图层、类别提取数据源，尽量减少同名地物的提取；

    （3）要素分层合并：对提取出的要素，进行分层合并；

    （4）属性结构规整：进行属性结构的规范整理；

    （5）图形几何处理：依据现势性、要素空间关系等，进行图形几何处理；

    （6）空间关系处理：处理要素间的空间关系，保证同类要素或不同要素间

空间关系的合理性与逻辑一致性；

    （7）数据接边处理：如融合更新处理分区域或图幅进行，还应进行不同分区或图幅间的属性与几何接边处理；

    （8）质量检查：对融合更新后成果数据的质量进行检查。

第三章 数据现状分析

3.1 数据质量定位

        数学基础：

        坐标系统：2000国家大地坐标系（CGCS2000）。

        坐标单位：度。

        高程基准：1985国家高程基准。

        单位：米。

        完整性：

• 数据分类内容完整

        数据分层、命名与本方案中梳理的要求应一致。数据分类内容，介绍如下：

        （1）水系：包括河流、沟渠、湖泊、水库、坑塘、其他水系要素，以及水利及附属设施等方面的数据。

        （2）居民地及设施：包括居民地、工矿及其设施、农业及其设施、公共服务及其设施、名胜古迹、宗教设施、科学观测站、其他建筑物及其设施等。

        （3）交通：包括铁路、公路、城市道路、乡村道路、道路构造物及其附属设施、水运设施、空运设施、其他交通设施等。

        （4）境界与政区：包括省级行政区、地级行政区、县级行政区、乡级行政区、行政区界线，以及开发区、保税区、自然与文化保护区、特殊地区界线等。

        （5）植被：包括种植土地、林草用地等。

        （6）地名：包括山名、水系名等自然地名，各级行政、居民点、道路等人文地名。

• 分层数据属性结构合理

        属性结构的合理性，体现在属性结构的设计，应与实际的应用环境和生产环境结合起来分析。属性项不是越多越好，属性值的值域的设计也不是越详尽越好。

        对每一个图层的属性表设计属性项时，应遵循以下原则：

        （1）尽可能保留源数据中已有的，且已经赋值的属性项；

        （2）属性项的设计，应与制图需求，或应用需求相符；

        （3） 属性值值域的设计，应合理灵活，具有可拓展性，易操作性；

• 要素采集无大量遗漏

        应确保作业区域的要素，完整覆盖，不存在遗漏、丢漏等情况。具体为：

        （1）融合成果叠加融合数据源，查看是否有要素丢漏情况；

        （2）收集的融合数据源中，是否作业前就存在要素确实遗漏。

        表征质量：

• 重复实体去重

        同一实体数据，不应存在重复表达的要素。如临近同名兴趣点数据，重复道路线数据等。

• 要素及要素间拓扑关系

        数据接边检查，数据几何质量检查，要素间逻辑正确性检查。以确保数据的正确性和准确性。

• 几何异常

        极小角、微小要素，多部件要素，面不合理突出、凹陷等。在制图表达，分析计算中，会引起难以分析的异常结果。

        属性精度：

• 属性值正确性

        属性值不应超出值域范围，也不应存在不合理字符，且属性值之间往往存在着一定的关联性，可作为相互验证的依据。如“×××高速”，其CLASID值应为高速公路代码。

具体内容有：

        （1）异常字符：检查不合理字符（如“空格”、“，”、“？”“！”“换行符”）。

        （2）合理性检查：检查NAME是否全角（包含NAME1、NAME2……等）ENAME、 ROUTENUM字段是否半角（包括ENAME1、ENAME2， ROUTENUM1，ROUTENUM2 …等字段）。

        （3）必填字段空值检查：必填字段不允许为空。

        （4）枚举值检查：检查属性值是否超出值域范围。

        （5）属性值正确性检查：检查属性值的正确性。

3.2 数据需求定位

        在做数据库体设计，数据结构设计时，应对数据使用的需求有清晰的定位。本文从三个数据的使用场景对数据的需求进行分析和定位。

3.2.1制图需求

        随着GIS在各行各业的深入应用，各信息化部门和生产单位在逐渐建立起自己的GIS应用的同时，也积累了大量的地理数据。准确、快速、丰富地将数据建设成果以服务的方式提供使用，保障地理信息公共服务平台对数据服务和底图服务的需求，是地理空间平台信息化的重要内容。

        电子地图服务建设，主要包括二维地图建设，三维地图建设以及专题地图建设三类数据地图成果。通过集成三类数据地图成果，建设多维地理信息服务平台，实现大规模多维空间数据的高效管理及数据服务发布，打造统一多维地理信息门户，为用户提供全省的基础地理信息服务能力和提供权威、统一的空间信息多维服务支撑。

• 电子底图制作

        二维电子地图服务建设是在已有基础测绘等成果基础上，利用项目获取的矢量（影像）数据以及互联网信息等其他数据源，整合建设全省域统一、权威、现势性强的二维地图并进行更新，为全省各部门、各行业提供地理信息数据和应用支撑服务。

        数据服务和底图服务的准确性和实用性，对数据的现势性有着较高的要求。通常，从获取的数据到GIS服务的提供，需要经过数据的几何质量检查和属性的规范性处理，根据制图需求构造制图库，结业业务要求制作地图模板，发布服务后提供使用。

        而二维电子地图制作中通常会用到道路、水系、居民地、兴趣点等图层，这些图层通常数据量大，数据结构复杂，往往数据几何质量检查和属性规范化处理周期长，想要快速成图对数据的显示抽稀和制图效果增强方面提出了较大的要求。

        充分利用地名地址数据库、1：1万、1：5万、1：25万框架数据库等建设成果，按需补充专题数据，丰富制图库数据源，形成制图数据源成果库，为制图库的生产提供数据支撑。

        基于制图库中的数据分层和属性结构，对成果数据进行数据质量检查整改后，分图层提取数据进行整合，并对提取的数据进行制图数据规范化处理后，导入制图库，形成制图库成果。

        制图库必须包括以下内容，但也可根据需要自行扩展数据集，空层保留。

        电子地图制图主要数据图层如下：

        更新入库的成果数据，解决了数据在属性精度，表征质量和逻辑一致性等方面的质量问题，但把它当作地图模板的图层数据源直接用于制图，仍然存在很多问题，而这一类问题往往在制图效果上欠佳和在显示结果上容易出现误解。

        如：数据没有做等级过滤和显示抽稀，当在小比例尺显示时，显示标注的要素数量就会远远超过图面承载量，看到的是杂乱无章的图面，不仅毫无美感可言，更无法图出地图显示要素的主体，达不到电子地图应该产生的作用和效果。而就算在大比例尺下，图面能承载图层要素后，如不解决数据在显示效果上的问题，也容易造成误解，如道路的显示连通性，当等级道路显示不连通时，不仅缺乏美观，也容易让人认为等级道路是断开的，不连续的。

        如此，就需要对成果数据就行分层提取后，进一步做数据的二次加工处理，如新增渲染字段和新增显示级别字段，提取顶层道路线和水系注记线，对标注的点层数据进行抽稀显示等操作。

        对道路，水系，绿地和地理单元等数据进行分层提取后，需要按下表中的处理内容和要求对数据进行二次加工处理。

• 专题图制作

        随着社会经济的发展和人民生活水平的提高，社会公众对地理信息的需求日益迫切。通过项目建设进一步丰富数据资源后，纳入更多更实用、更多样的专题信息，更好地为各部门提供辅助决策作用。大力推进在相关专业部门与大型企业的应用，如旅游、教育、人口、交通、医疗、水利、民政、地震、环保、农业、林业等部门开发多个行业应用服务。为政府、行业提供基础服务，不断增强平台的公益性服务能力。

        专题电子地图的建设，可通过现有测绘成果资源及相关行业应用资源进行梳理并提取相关专题数据进行整合，依据行业专题符号和特有的内容表达方式，对行业数据符号化渲染和标注，进行图层服务或地图服务的发布和共享。对于已经存在的图层服务和地图服务，可通过图层服务的灵活组织，重新创建地图服务。而利用地图服务的重组，创建WebMap地图应用，保存发布。

        从数据分类的角度，可将行业数据归纳为线状数据，规划数据和管理数据。在此分类的基础上，拓展处二级目录和三级目录。针对业务需求，可在每一级目录列表下提取活组合行业数据，制作专题电子地图，数据下表。