空间大数据与实时GIS

大数据与空间大数据

分布式分析

何时需要？
数据量大，计算复杂，单节点处理的性能达不到要求时
分布式计算原理
把同一任务分解到多台计算机上，大大缩短该任务的执行周期
分布式存储引擎

分布式分析流程

分布式分析实战

• 环境配置
  iServer内置Spark环境
  使用内置Spark环境手动添加工作节点
• 数据注册
  iServer内置大数据目录服务
  空间数据库注册到iServer
  大数据共享目录手动注册到iServer
• 分析处理
  iServer支持分布式处理服务
  支持数十种分布式空间分析算子
• 可视化显示
  iServer支持多种可视化配置
  iServer支持在线可视化展示

访问SuperMap iServer服务管理

• 启动登录SuperMap iServer
• 进入服务管理页面：http://localhost:8090/iserver/manager/
  

分布式环境配置
集群→配置集群→配置分布式计算集群
验证Spark，访问localhost:8080
添加报告器→修改集群服务地址→启用，作用分布式分析节点
分布式分析服务→配置分布式分析服务→设置对应关联地址

数据注册
注册数据存储

• 支持注册的类型
  Windows共享存储
  HDFS
  空间数据库
• 注册后如何查看
  Manager→集群→数据注册→数据存储列表
  访问数据目录服务http://localhost:8090/iserver/services/datacatalog/rest/datacatalog/sharefile

如何注册数据

• 向数据目录服务中注册数据
• 集群→数据注册→注册数据存储→设置对应参数
  
  
  

分布式分析

• SuperMap iServer服务管理页面→服务
  →服务管理→分布式分析服务
• 访问分布式分析服务
• 选择分布式分析资源
• 选择分析算子，例如点聚合aggregatePoints
• 创建分析任务
• 设置点聚合分析参数：数据来源，聚合类型，网格大小等等

流数据的实时处理解析

流数据服务应用行业

• 具有物联网数据产生的行业
  传感器设备（环保、水文、气象、市政等行业）监控数据
  时间序列化、段时间、格式化更新

• 基于实时移动目标的动态监测
  基于位置的移动目标进行实时监测交通运输、军事、民航以及船舶等相关行业
  空间或属性过滤、地理围栏

流数据技术框架


流数据接入

流数据处理


空间过滤


空间映射（地理状态标记器）



输出


流数据存储

流数据处理实战

• 搭建流数据处理环境
• 编写模型定义文件
• 发布流数据服务
• 订阅查看数据

分布式环境配置
启动Spark集群→子节点加入集群→环境搭建成功

发布流处理模型

• 服务→概述→配置流数据服务
  
  
  
  
  
  发布流处理模型
• 快速发布服务，以示例流模型“readcsv”为例
• 数据来源，选择流处理模型
• 配置文件路径，后缀为.streaming的文件
• 勾选“是否添加Token”，点击“在这里”生成token
• 输入iServer的管理员用户密码，设置客户端标识类型与有效期
• 勾选“是否创建数据流服务”
• 完成发布
• 进入数据流服务，订阅查看流数据
  
  
  

在广播页面点广播，订阅页面会接收传过来数据


检查流数据模型