教育大数据总体解决方案（4）

1. 组件配置

 对组件中的项目配置项进行管理，包括节点内容、磁盘空间等等。每一次的配置都以一个配置版本的形式进行保存，用户可选择对应版本的查看对应的配置信息。

1. 测度

对组件内的相关服务指标以图标形式进行状态呈现。可选择相应时间段，查看对应的指标信息。

1. 组件管理

对组件的运行状态进行变更，包括开启、停止、重启、运行检查、卸载服务等。

 

• 主机管理

对运行大数据基础服务组件的硬件主机环境进行监控，查看主机所承载的组件信息以及主机的负载信息。

1. 主机整体概况

对当前大数据环境所使用的所有主机信息，以主机列表的形式进行概览信息查看。概览信息包括：主机名称、IP地址、机架名称、CPU核心数、内存、磁盘使用情况、负载均值、版本、承载组件数量。

1. 集群概要

1. 对当前集群主机进行统一管理，包括开启所有组件、停止所有组件、重启所有组件、设置机架、删除主机、检查主机、下载配置、恢复主机等。
2. 对当前主机集群所承载的组件列表、主机状态指标（包括：CPU使用率、磁盘使用率、负载、内存使用率、网络使用率、进程、运行时间等）、主机基本信息（包括：主机名、IP地址、机架、操作系统、CPU核数、磁盘、内存、负载均值、心跳等）信息进行查看与管理。
3. 

1. 配置

对当前主机所承载的所有服务组件进行配置管理。

1. 告警

对当前主机所有产生的预警信息进行查看。

1. 版本

对当前主机的配置版本信息进行查看，每一次的配置变更，都以一个版本的形式进行留存。

• 告警管理

平台对大数据基础组件服务的所有告警信息进行集中统一的管理。

1. 告警配置

为平台组件服务配置相应的告警组，以及相应的通知信息内容、方式和人员。

1. 告警组

为每一个服务管理告警组。查看各个服务的告警组列表以及定义的配置信息。也可以添加或者移除告警定义，为告警组挑选通知。

1. 告警通知

设置告警通知的方式及人员信息。

1. 告警查阅

以列表形式查看平台所有的告警信息，包括状态、告警定义名称、服务、上次状态改变、当前状态。

• 系统管理

对当前大数据基础平台的所有服务及组件版本、账户以及自动启动进行统一管理。

1. 服务版本

查看当前大数据基础平台的所有服务信息及版本状态。

1. 服务用户和组

查看当前大数据基础平台的所有用户信息。

1. 服务自动启动

对当前大数据基础平台的所有服务组件进行自启动设置。

• 后台操作

查看大数据平台所有的后台任务内容。

1. 1. 1. 1. 1. 数据存储

大数据存储平台以数据存储为核心，具有集群特性，具有互联网平台的分布式特性，提供对各类结构化、非结构化数据的长期有效存储，存储平台本身具有分布式文件系统特性，支持文件权限管理，支持对海量数据存储及数据冗余，确保数据可用性达到99.999%，同时平台具有良好的横向扩展，能够满足未来5到10年的数据存储需求。

• 数据存储类型

平台可对文件、日志、图片、音频、视频等各类数据有序存储。

• 数据冗余存储

为了保证系统的容错性和可用性，大数据存储平台采用了2副本方式对数据进行冗余存储，可以保证机架发生异常时的数据恢复，也可以提高数据读写性能。

• 数据高速读取

当多个平台应用需要同时访问一个文件时，可以让各个应用分别从不同的数据副本中读取数据，这就大大加快了数据传输速度。

• 数据容错

平台具有相应的机制检测数据错误和进行自动恢复，可自动完成对名称节点、数据节点、以及数据内容的出错检查及恢复。

• 可视化文件管理

存储平台的可视化展现，对平台上文件能够进行有效的管理，包含上传、下载、删除、重命名、复制、移动等主要功能。

1. 1. 1. 1. 1. 数据计算

大数据计算平台以各类数据计算为核心，支持海量数据计算，具有分布式计算的能力，支持spark、hive计算，能够直接处理存储平台上所有数据，提供数据集中化、平台化的计算能力，建立数据仓库，包含：ODS层、EDW层、DM层。

• 计算任务管理

平台支持多级多计算任务管理，根据大数据平台工作需要进行计算任务的的配置。

• 计算资源调度配置

对平台的计算资源调度策略进行配置管理，包括最大应用数、最大调幅资源比例、延时调度、计算模式等。

• 计算任务配置

对当前计算任务的计算容量以及资源进行配置管理。

• 计算平台管理

计算平台可进行可视化管理，包含对提交任务的管理，任务暂停、任务停止，任务日志追踪，任务执行过程跟踪。

• 计算结果写入

平台可直接将计算结果写入关系型数据库、K-V数据库。

• 计算能力支持

平台提供数据挖掘的能力，包括建立数据模型，提供多样化的算法实现。

• 配置信息管理

对计算平台的配置信息每次变更保存以版本形式进行更新。所有的配置

版本可根据平台需要直接选择进行使用。

1. 1. 1. 1. 数据整合
            1. 数据采集

大数据采集平台以数据采集为核心，支持海量数据的实时采集，提供基于不同场景不同结构的各类数据采集方案，支持数据采集、存储的一体化，具有高可用性，高可靠性，支持断点续采，是大数据平台的核心数据来源。

• 数据资产大屏

1. 对接系统总量及数据的实时分析

对大数据采集平台的所有采集任务及相关采集数据进行汇总展示，包括对接数据系统数量、对接系统数据表总量、接系统每日新增数据总量、对接系统数据总量的事实记录。

1. 对接系统之间的对比分析

对已经完成数据对接的系统，对每个系统的每日新增数据量、数据表总量以及数据总量进行汇总统计，并对所有系统的统计数据以柱状图的形式进行对比分析呈现。

• 数据采集方式

平台提供应用系统定制的API数据采集、各类关系型数据库的表数据采集、系统实时日志采集、定向网络数据采集等灵活多样的方式进行不同数据的采集。

• 数据采集类型

平台提供对数据库结构化数据的采集，文件、日志、图片、音频、视频等非结构化数据采集，以及XML、json等半结构化数据的采集。

• 数据采集时限

平台提供数据的T+0、T+1采集。

• 数据对接管理

平台对每个以已经完成数据采集对接的系统信息进行管理，包括系统名、首次对接时间、最后维护时间、维护负责人、对接负责人、对接负责联系方式信息，根据系统对接需要进行自主修改更新。

1. 1. 1. 1. 1. 数据调度管理

数据调度管理平台以业务流的形式，通过可视化的组件设计工具，快速在平台内构建数据数据抽取、交换和管理模型。

• 可视化设计

平台内置可视化、可拖拽、可配置、可重复开发的业务流配置工具快速构建数据调度模型。

• 数据调度组件

平台内置14个以上的数据交换组件库，包括基础组件、数据交换组件（Sqoop远程调用、Spark组件等）以及对Hbase、Hadoop、MapReduce、MongoDB数据库的交换组件。

• 数据调度模型

数据调度模型支持单一业务流模型及多业务流协作模型。利用数据调度组件进行可视化的数据调度模型构建，数据调度模型以流程形式呈现每一个组件步骤，提供调度组件属性配置的图形化编辑页面，可对编辑完成的调度模型进行在线调试、验证以及模型提交。

• 数据调度任务管理

平台对所有配置的数据调度任务进行管理及状态跟踪。查看调度任务的名称、状态、用户、开始时间、结束时间、工作流ID。

根据调度任务的执行需要，对调度任务进行启动、暂停、重启、关闭操作。

所有的数据调度任务具有详细的执行日志记录，包括任务运行日志、错误日志以及审计日志。