- 组件配置
对组件中的项目配置项进行管理,包括节点内容、磁盘空间等等。每一次的配置都以一个配置版本的形式进行保存,用户可选择对应版本的查看对应的配置信息。
- 测度
对组件内的相关服务指标以图标形式进行状态呈现。可选择相应时间段,查看对应的指标信息。
- 组件管理
对组件的运行状态进行变更,包括开启、停止、重启、运行检查、卸载服务等。
- 主机管理
对运行大数据基础服务组件的硬件主机环境进行监控,查看主机所承载的组件信息以及主机的负载信息。
- 主机整体概况
对当前大数据环境所使用的所有主机信息,以主机列表的形式进行概览信息查看。概览信息包括:主机名称、IP地址、机架名称、CPU核心数、内存、磁盘使用情况、负载均值、版本、承载组件数量。
- 集群概要
- 对当前集群主机进行统一管理,包括开启所有组件、停止所有组件、重启所有组件、设置机架、删除主机、检查主机、下载配置、恢复主机等。
- 对当前主机集群所承载的组件列表、主机状态指标(包括:CPU使用率、磁盘使用率、负载、内存使用率、网络使用率、进程、运行时间等)、主机基本信息(包括:主机名、IP地址、机架、操作系统、CPU核数、磁盘、内存、负载均值、心跳等)信息进行查看与管理。
- 配置
对当前主机所承载的所有服务组件进行配置管理。
- 告警
对当前主机所有产生的预警信息进行查看。
- 版本
对当前主机的配置版本信息进行查看,每一次的配置变更,都以一个版本的形式进行留存。
- 告警管理
平台对大数据基础组件服务的所有告警信息进行集中统一的管理。
- 告警配置
为平台组件服务配置相应的告警组,以及相应的通知信息内容、方式和人员。
- 告警组
为每一个服务管理告警组。查看各个服务的告警组列表以及定义的配置信息。也可以添加或者移除告警定义,为告警组挑选通知。
- 告警通知
设置告警通知的方式及人员信息。
- 告警查阅
以列表形式查看平台所有的告警信息,包括状态、告警定义名称、服务、上次状态改变、当前状态。
- 系统管理
对当前大数据基础平台的所有服务及组件版本、账户以及自动启动进行统一管理。
- 服务版本
查看当前大数据基础平台的所有服务信息及版本状态。
- 服务用户和组
查看当前大数据基础平台的所有用户信息。
- 服务自动启动
对当前大数据基础平台的所有服务组件进行自启动设置。
- 后台操作
查看大数据平台所有的后台任务内容。
-
-
-
-
- 数据存储
-
-
-
大数据存储平台以数据存储为核心,具有集群特性,具有互联网平台的分布式特性,提供对各类结构化、非结构化数据的长期有效存储,存储平台本身具有分布式文件系统特性,支持文件权限管理,支持对海量数据存储及数据冗余,确保数据可用性达到99.999%,同时平台具有良好的横向扩展,能够满足未来5到10年的数据存储需求。
- 数据存储类型
平台可对文件、日志、图片、音频、视频等各类数据有序存储。
- 数据冗余存储
为了保证系统的容错性和可用性,大数据存储平台采用了2副本方式对数据进行冗余存储,可以保证机架发生异常时的数据恢复,也可以提高数据读写性能。
- 数据高速读取
当多个平台应用需要同时访问一个文件时,可以让各个应用分别从不同的数据副本中读取数据,这就大大加快了数据传输速度。
- 数据容错
平台具有相应的机制检测数据错误和进行自动恢复,可自动完成对名称节点、数据节点、以及数据内容的出错检查及恢复。
- 可视化文件管理
存储平台的可视化展现,对平台上文件能够进行有效的管理,包含上传、下载、删除、重命名、复制、移动等主要功能。
-
-
-
-
- 数据计算
-
-
-
大数据计算平台以各类数据计算为核心,支持海量数据计算,具有分布式计算的能力,支持spark、hive计算,能够直接处理存储平台上所有数据,提供数据集中化、平台化的计算能力,建立数据仓库,包含:ODS层、EDW层、DM层。
- 计算任务管理
平台支持多级多计算任务管理,根据大数据平台工作需要进行计算任务的的配置。
- 计算资源调度配置
对平台的计算资源调度策略进行配置管理,包括最大应用数、最大调幅资源比例、延时调度、计算模式等。
- 计算任务配置
对当前计算任务的计算容量以及资源进行配置管理。
- 计算平台管理
计算平台可进行可视化管理,包含对提交任务的管理,任务暂停、任务停止,任务日志追踪,任务执行过程跟踪。
- 计算结果写入
平台可直接将计算结果写入关系型数据库、K-V数据库。
- 计算能力支持
平台提供数据挖掘的能力,包括建立数据模型,提供多样化的算法实现。
- 配置信息管理
对计算平台的配置信息每次变更保存以版本形式进行更新。所有的配置
版本可根据平台需要直接选择进行使用。
-
-
-
- 数据整合
- 数据采集
- 数据整合
-
-
大数据采集平台以数据采集为核心,支持海量数据的实时采集,提供基于不同场景不同结构的各类数据采集方案,支持数据采集、存储的一体化,具有高可用性,高可靠性,支持断点续采,是大数据平台的核心数据来源。
- 数据资产大屏
- 对接系统总量及数据的实时分析
对大数据采集平台的所有采集任务及相关采集数据进行汇总展示,包括对接数据系统数量、对接系统数据表总量、接系统每日新增数据总量、对接系统数据总量的事实记录。
- 对接系统之间的对比分析
对已经完成数据对接的系统,对每个系统的每日新增数据量、数据表总量以及数据总量进行汇总统计,并对所有系统的统计数据以柱状图的形式进行对比分析呈现。
- 数据采集方式
平台提供应用系统定制的API数据采集、各类关系型数据库的表数据采集、系统实时日志采集、定向网络数据采集等灵活多样的方式进行不同数据的采集。
- 数据采集类型
平台提供对数据库结构化数据的采集,文件、日志、图片、音频、视频等非结构化数据采集,以及XML、json等半结构化数据的采集。
- 数据采集时限
平台提供数据的T+0、T+1采集。
- 数据对接管理
平台对每个以已经完成数据采集对接的系统信息进行管理,包括系统名、首次对接时间、最后维护时间、维护负责人、对接负责人、对接负责联系方式信息,根据系统对接需要进行自主修改更新。
-
-
-
-
- 数据调度管理
-
-
-
数据调度管理平台以业务流的形式,通过可视化的组件设计工具,快速在平台内构建数据数据抽取、交换和管理模型。
- 可视化设计
平台内置可视化、可拖拽、可配置、可重复开发的业务流配置工具快速构建数据调度模型。
- 数据调度组件
平台内置14个以上的数据交换组件库,包括基础组件、数据交换组件(Sqoop远程调用、Spark组件等)以及对Hbase、Hadoop、MapReduce、MongoDB数据库的交换组件。
- 数据调度模型
数据调度模型支持单一业务流模型及多业务流协作模型。利用数据调度组件进行可视化的数据调度模型构建,数据调度模型以流程形式呈现每一个组件步骤,提供调度组件属性配置的图形化编辑页面,可对编辑完成的调度模型进行在线调试、验证以及模型提交。
- 数据调度任务管理
平台对所有配置的数据调度任务进行管理及状态跟踪。查看调度任务的名称、状态、用户、开始时间、结束时间、工作流ID。
根据调度任务的执行需要,对调度任务进行启动、暂停、重启、关闭操作。
所有的数据调度任务具有详细的执行日志记录,包括任务运行日志、错误日志以及审计日志。