GBASE南大通用数据库应用案例-气象大数据平台项目

项目背景

根据《气象雷达发展专项规划（2017-2020年）》及《气象雷达发展专项规划（2017-2020年）实施方案》的要求，在国省构建高效的分布式实时历史一体化数据存储管理系统，满足海量数据的存取和分析时效要求。本项目是雷达数据共享平台建设的重要组成部分，可以有效推进国省气象雷达数据共享和气象业务应用信息化、集约化进程。

 本项目基于GBASE南大通用GBase数据库建设，目标是在国家中心和31个省级节点，通过使用成熟的、性价比高的分布式分析型数据库，存储长时间序列历史数据，支撑气候监测预测、决策服务等业务系统对数据服务和分析的需求。

气象大数据平台实现了数据全集的统一管理和服务，提供除数值预报以外各类气象数据产品加工、挖掘分析的平台计算服务；直接支撑应用，助力“云+端”业务模式的全面发展，构成集约化、标准化、开放发展的气象新业态。

项目需求

国家气象中心集群的部署

针对现有甲方提供的现有12台服务器进行8a集群的部署安装，后续会根据甲方要求进行服务器的扩容 ；

针对现有的硬件资源情况，采用了3管理节点+10数据节点的方式进行部署，其中一个节点的管理节点和数据节点复用。

省级气象信息中心集群的部署

另外在各区域中心部署8套（每省8个节点），省中心部署23套（每省6个节点），共32套，共计219个节点。

价值体现

数据全集的统一管理和服务：基于GBASE南大通用GBase UP大数据处理平台实现异构数据库的透明访问、统一数据服务接口、统一数据管理；实现各类气象数据全集的管理，进行数值预报以外的产品加工、挖掘分析的平台计算服务。

实时数据同步：气象数据进入到事务型数据库提供业务实时查询访问，通过kafka将事务库中的增量数据准实时的同步到GBASE南大通用GBase 8a分析型数据库。利用GBase 8a的数据存储、服务、分析的能力，发挥数据应用效益，为天气预报，防灾减灾等业务提供保障。 

高性能分析：利用GBASE南大通用。GBase 8a集群的高性能分布式并行计算能力，有效提升气象业务的复杂分析场景性能。

解决方案

GBase 8a MPP Cluster产品作为历史分析库，将现有的气象观测数据，地理信息数据，行业社会数据等基础数据信息通过通过kafka实时同步到GBase8a数据库中，提供了长时间序列历史数据的存储与多维度的分析计算。

提供统一的数据库访问接口，实现异构数据库引擎的透明访问，方便数据统一管理和应用的迁移和开发。