GIS技术进化| 大数据GIS技术体系点亮GIS应用新思维

《“十三五”国家信息化规划》发布以来，我国大数据产业发展迅猛，基于大数据的融合发展成为一种新的趋势。地理信息产业与大数据的结合，也成为地理信息产业发展的新领域、新动能。GIS也经历着从传统迈向大数据时代的变革。

在这个信息爆炸的时代，不管传统测绘方法，还是包括倾斜摄影、激光点云、街景等新型测绘方法所产生的数据越来越大，且在互联网、移动互联网、物联网等高新技术支撑下自动获取的数据也有很高比例带有空间位置信息；空前的数据规模已经超越了传统空间数据管理系统和处理模式的能力范围，必须引入新的技术予以支撑。

超图软件创造性地将GIS核心能力嵌入到大数据基础框架之内，实现大数据技术与GIS技术的深度融合，并打造出一套完整的大数据GIS技术体系。

核心架构

超图大数据GIS技术体系能够“玩转”行业中的大数据GIS应用，与技术体系中的三大关键技术密不可分，它们是：分布式技术、流数据的实时处理技术和大数据空间可视化技术，这三大技术都是GIS与通用大数据技术相结合的产物。

图 1：大数据GIS的核心技术

分布式技术通过引入HDFS、HBase、Elasticsearch等主流的分布式存储系统，数量级地提升了对超大规模空间数据的存储容量。以Spark分布式计算框架为基础， SuperMap GIS 软件对地理空间分析算法进行分布式改造，在数小时就可完成对上亿条空间对象之间的空间分析计算，利用分布式技术改造地图渲染模式，可实现对超大规模空间数据的“免切片”渲染。

流数据的实时处理技术基于Spark Streaming流计算框架的基础能力，扩展实现流式数据的实时接入、过滤、转换、计算、可视化与输出等相关能力。

 

                         图 2：实时监测全球民航进出港情况                                              图 3：全球船只历史轨迹演播

空间大数据可视化技术通过热力图、格网图、密度图、OD图等方式，可以更加科学地展现空间大数据及其分析结果，实现根据成上千万乃至上亿的空间大数据快速分析空间对象的聚合程度、变化趋势和关联关系。

图 4：大数据空间可视化表达

基于大数据GIS技术体系，超图提供了系列大数据GIS基础软件产品（如图 5），贯穿了空间大数据存储、处理与分析、可视化以及地图或数据服务发布的全部应用环节。

图 5： SuperMap GIS 10i 大数据产品架构图

应用价值

目前，大数据GIS 技术已经在自然资源、规划、公安、城市综合管理等领域得到广泛应用，帮助攻克与大数据融合过程中的诸多问题，并为相关业务提供多元思维、多元决策。

在自然资源领域，不断累积的数据存量和不断增加的数据增量，使数据量从GB、TB向PB级发展。与此同时，传统的空间分析运算所花费的时间会随着数据量的增长而增长的，有些比较复杂的空间运算还会随着数据量的增长呈指数量级增长。

在空间数据发布和浏览时，为提高地图浏览的效率，往往采用预先切片的技术路线。例如，全国级别的数据切到18级，往往需要数天乃至数周的时间，无法满足数据快速上线的要求。

大数据GIS技术很好地解决了上述痛点。分布式存储技术在主流的分布式存储系统中嵌入分布式空间索引、空间数据分片处理和管理等技术，实现单表过亿乃至数十亿空间数据的存储与管理，并具备几乎无限的横向扩展能力；分布式空间分析大幅度降低了空间计算所花费的时间，使得上亿对象之间在约1小时内完成全量的叠加分析；结合矢量金字塔、分布式渲染、自动缓存和前端渐进加载等技术的高性能分布式地图渲染技术，能实现数据的“免切片”发布与高效浏览。

图 6：针对亿级数据的叠加分析，传统计算模式与分布式计算模式性能对比

图 7：海量矢量数据入库和发布，传统模式与新技术模式的性能对比

图 8：亿级数据免切片发布后高效浏览

图 9：千万量级数据的快速可视化

除了上述在自然资源领域的经典空间大数据应用外，大数据GIS还能管理实时发生的流数据以及存档下来的空间大数据。

在公安行业的业务中，经常需要对移动目标进行实时监测、实时计算位置，并对海量动态数据进行存档、计算和可视化。依托云GIS技术、分布式存储技术、流数据处理技术，可将基础地理信息库与带有时空信息的公安专题数据库进行融合，为各个警种的业务开展提供更加高效的地理信息服务。

例如，使用流数据处理技术，能够实时监控数据传输，构建地理围栏，重建轨迹。下图某市公安局警情案件分析系统展示了实时警情密度分布，为警力资源指挥调度提供指导。使用流数据处理技术，还能实现对历史数据的存储检索、轨迹回放等功能，能够检查车辆是否按照要求的巡查路线行驶，以及路线设计是否合理，为科学分配警务资源提供依据。

图 10：警情密度分析

发展前景

大数据GIS已经成为连接空间大数据与行业应用的桥梁。除了本文中提到的应用，还有许多行业，如气象、水利、环保、军事等，都在将大数据GIS能力与当前的业务平台或系统进行融合，实现GIS行业大数据平台的升级和扩展。大数据还将深度融合人工智能等新一代信息技术，激发地理信息产业新的生命力，改变人类发展面貌。

在最新发布的SuperMap GIS10i产品中，超图大数据GIS 技术又有新进展，推出分布式空间文件引擎（DSF），进一步强化海量经典空间数据的分布式存储和管理能力；升级SuperMap iObjects for Spark核心组件，以全新架构呈现；优化大数据GIS工作流程，使环境部署更加快捷、数据管理更加便捷。欲知详情，请您关注超图官方微信后续发布内容。