清华大学海洋大数据分析管理平台解读

清华大学海洋大数据分析管理平台

一、平台架构

     总体来说，海洋大数据的硬软件平台架构可分为三个层面:数据层、技术层和应用层(见图2)。数据层是海洋大数据平台的基础，包括各类海洋数据采集平台的数据，如地、天、空、海岸、船、油气平台、水下移动等观测到的海洋遥感数据、物理数据、生物数据、化学数据等;经过数据预处理技术，将多源异构的海洋大数据进行统一模式的组织和管理。技术层包括多源异构海洋大数据的融合、分析、挖掘、预报、可视化等技术，并对相关技术进行集成和云平台开发，实现海洋数据的个性化检索，并对海洋要素进行精准预报。应用层是在数据检索和技术集成的基础上，对海洋应用模块集中整合，建设综合、开放的海洋应用服务管理系统(见图3)，为科学研究和行业应用提供数据共享、信息处理、决策支持、业务化运行等服务。

                                         

                                

                                   

                                                                  

二、各层次平台分析

    数据获取平台:数据采集是整个海洋大数据平台建设的起始端。利用海洋通信技术和互联网技术，开展包括天基(卫星、航空飞机、无人机等)遥感、近海测绘、海洋浮标、海洋科考、水下探测等在内的数据采集。由于海洋大数据具有多源异构的特点，因此需要对数据进行预处理，如数据“清洗”，为后续流程提供统一高质量的数据集。

    存储与计算平台:获取的数据通过无线或有限网络传输至基于云计算的基础平台，采用云存储、虚拟化网络、虚拟主机服务以及云平台对海洋大数据进行存储和管理。其核心技术包括分布式文件存储以及分布式计算。例如，由Apache基金会所开发的分布式系统基础架构Hadoop ,其最核心的设计是分布式文件系统(HadoopDistributed File System，HDFS)和MapReduce;HDFS为海量数据提供存储，MapReduce则为海量数据提供计算。分布式文件存储典型代表有Hadoop的HDFS+HBas。文件存储方案、谷歌的GFS+BigTable文件存储方案等。

分析与应用平台:数据分析是海洋大数据处理的核心流程，利用分析方法或工具对数据进行检查、变换和建模，从中提取数据潜在价值。数据分析技术包括分类、聚类、关联规则、遗传算法、神经网络、预测模型、模式识别、时间序列分析、回归分析、系统仿真、机器学习、优化、空间分析、社会网络分析等。通过对数据的实时分析和处理，应用于海洋防灾减灾、海洋环境监测、海洋渔情预报等领域。

    信息可视化平台:通过建立海洋数据的分析和应用模型，实现海洋要素、海洋过程、海洋预报的多维、动态、可视化表达，为海洋科学研究和行业内应用提供信息可视化服务。

    决策与发布平台:基于以上平台系统，通过网络计算机、智能手机APP等灵活、机动的客户端方式，为海洋领域相关单位和个人提供快速实时的决策支持服务，包括海洋信息咨询、海洋污染监测预警、海洋渔场监测、海洋维权指挥等。

    此外，目前也函需开发“海洋+’’的海洋大数据行业应用，通过建立技术转移平台和产业孵化平台，在海洋技术、海洋预报、海洋经济等相关领域提供海洋大数据信息服务和决策支持服务。

三、常见的大数据平台示例