- 系统管理
对当前大数据基础平台的所有服务及组件版本、账户以及自动启动进行统一管理。
- 服务版本
查看当前大数据基础平台的所有服务信息及版本状态。
- 服务用户和组
查看当前大数据基础平台的所有用户信息。
- 服务自动启动
对当前大数据基础平台的所有服务组件进行自启动设置。
- 后台操作
查看大数据平台所有的后台任务内容。
-
-
-
-
- 数据存储
-
-
-
大数据存储平台以数据存储为核心，具有集群特性，具有互联网平台的分布式特性，提供对各类结构化、非结构化数据的长期有效存储，存储平台本身具有分布式文件系统特性，支持文件权限管理，支持对海量数据存储及数据冗余，确保数据可用性达到99.999%，同时平台具有良好的横向扩展，能够满足未来5到10年的数据存储需求。
- 数据存储类型
平台可对文件、日志、图片、音频、视频等各类数据有序存储。
- 数据冗余存储
为了保证系统的容错性和可用性，大数据存储平台采用了2副本方式对数据进行冗余存储，可以保证机架发生异常时的数据恢复，也可以提高数据读写性能。
- 数据高速读取
当多个平台应用需要同时访问一个文件时，可以让各个应用分别从不同的数据副本中读取数据，这就大大加快了数据传输速度。
- 数据容错
平台具有相应的机制检测数据错误和进行自动恢复，可自动完成对名称节点、数据节点、以及数据内容的出错检查及恢复。
- 可视化文件管理
存储平台的可视化展现，对平台上文件能够进行有效的管理，包含上传、下载、删除、重命名、复制、移动等主要功能。
-
-
-
-
- 数据计算
-
-
-
大数据计算平台以各类数据计算为核心，支持海量数据计算，具有分布式计算的能力，支持spark、hive计算，能够直接处理存储平台上所有数据，提供数据集中化、平台化的计算能力，建立数据仓库，包含：ODS层、EDW层、DM层。
- 计算任务管理
平台支持多级多计算任务管理，根据大数据平台工作需要进行计算任务的的配置。
- 计算资源调度配置
对平台的计算资源调度策略进行配置管理，包括最大应用数、最大调幅资源比例、延时调度、计算模式等。
- 计算任务配置
对当前计算任务的计算容量以及资源进行配置管理。
- 计算平台管理
计算平台可进行可视化管理，包含对提交任务的管理，任务暂停、任务停止，任务日志追踪，任务执行过程跟踪。
- 计算结果写入
平台可直接将计算结果写入关系型数据库、K-V数据库。
- 计算能力支持
平台提供数据挖掘的能力，包括建立数据模型，提供多样化的算法实现。
- 配置信息管理
对计算平台的配置信息每次变更保存以版本形式进行更新。所有的配置
版本可根据平台需要直接选择进行使用。
-
-
-
- 数据整合
- 数据采集
- 数据整合
-
-
大数据采集平台以数据采集为核心，支持海量数据的实时采集，提供基于不同场景不同结构的各类数据采集方案，支持数据采集、存储的一体化，具有高可用性，高可靠性，支持断点续采，是大数据平台的核心数据来源。
- 数据资产大屏
- 对接系统总量及数据的实时分析
对大数据采集平台的所有采集任务及相关采集数据进行汇总展示，包括对接数据系统数量、对接系统数据表总量、接系统每日新增数据总量、对接系统数据总量的事实记录。
- 对接系统之间的对比分析
对已经完成数据对接的系统，对每个系统的每日新增数据量、数据表总量以及数据总量进行汇总统计，并对所有系统的统计数据以柱状图的形式进行对比分析呈现。
- 数据采集方式
平台提供应用系统定制的API数据采集、各类关系型数据库的表数据采集、系统实时日志采集、定向网络数据采集等灵活多样的方式进行不同数据的采集。
- 数据采集类型
平台提供对数据库结构化数据的采集，文件、日志、图片、音频、视频等非结构化数据采集，以及XML、json等半结构化数据的采集。
- 数据采集时限
平台提供数据的T+0、T+1采集。
- 数据对接管理
平台对每个以已经完成数据采集对接的系统信息进行管理，包括系统名、首次对接时间、最后维护时间、维护负责人、对接负责人、对接负责联系方式信息，根据系统对接需要进行自主修改更新。
-
-
-
-
- 数据调度管理
-
-
-
数据调度管理平台以业务流的形式，通过可视化的组件设计工具，快速在平台内构建数据数据抽取、交换和管理模型。
- 可视化设计
平台内置可视化、可拖拽、可配置、可重复开发的业务流配置工具快速构建数据调度模型。
- 数据调度组件
平台内置14个以上的数据交换组件库，包括基础组件、数据交换组件（Sqoop远程调用、Spark组件等）以及对Hbase、Hadoop、MapReduce、MongoDB数据库的交换组件。
- 数据调度模型
数据调度模型支持单一业务流模型及多业务流协作模型。利用数据调度组件进行可视化的数据调度模型构建，数据调度模型以流程形式呈现每一个组件步骤，提供调度组件属性配置的图形化编辑页面，可对编辑完成的调度模型进行在线调试、验证以及模型提交。
- 数据调度任务管理
平台对所有配置的数据调度任务进行管理及状态跟踪。查看调度任务的名称、状态、用户、开始时间、结束时间、工作流ID。
根据调度任务的执行需要，对调度任务进行启动、暂停、重启、关闭操作。
所有的数据调度任务具有详细的执行日志记录，包括任务运行日志、错误日志以及审计日志。
-
-
-
-
- 数据管理
-
-
-
大数据管理平台使用企业级的J2EE架构设计，以数据资产盘点及元数据管理为核心，提供多数据源的连接，提供对应用、应用源的统一的管理，盘点整个平台的数据资产；同时能提供对数据标准的管理，数据字典，Excel数据的管理。
- 元数据管理
- 数据源管理
提供对大数据平台采集的数据源进行统一的配置管理，进行数据源的新增、修改、删除，以及数据源的同步和刷新。数据源信息包括数据源名称、系统名称、数据库、主机IP、数据库库名、端口、用户名、数据表量、数据总量。
- 数据源连接类型
平台提供包含Mysql、Oracle、Sql
Server、DB2等常用数据库数据源的连接，连接方式支持：ODBC、JNDI、JDBC等。
- 元数据管理
提供对已完成对接系统的元数据信息统计分析及详细数据结构查询。
- 系统元数据实时分析
对每个对接系统的数据，进行数据分析，可实时查询每个系统及其分类数据的数据表总量、每日新增数据、数据总量。根据每日数据的变化，以天为单位对每日的数据增长量进行可视化图形呈现。
- 元数据结构查看
平台提供对系统分类数据下每个元数据库表结构的管理，可对数据表的空值、主键等属性进行设置。同时可查看该元数据表中数据总量以及以天为单位的元数据增量变化趋势。
- 数据字典管理
根据平台数据采集对接的系统数据，创建平台数据字典。可通过平台逐一创建，也可通过模板导入的形式快速创建。
- 字典表创建
通过平台创建相关采集系统的数据字典，包括系统名称、数据源名称、数据表名、数据表中文名、数据表结构信息（列名、类型、长度、允许空值、主键、注释）。
- 字典表导入
通过平台提供的导入模板，批量导入字典表数据。
- 数据字典管理
对平台已经创建的字典表进行查看、修改、删除等操作。可查看字典表的中文名称、系统、数据源、创建时间、数据总量相关信息。
- 数据导入
通过平台提供的数据导入模板，批量导入已有的相关数据，查看导入成功的数据表及相关数据内容。
- 数据导入
根据平台提供的数据导入excle文件模板，将已有相关数据导入平台数据库中。查看导入数据的中文名称、导入系统、导入数据源、导入时间、导入数据总量，可对导入数据进行删除管理。
- 数据内容管理
查看导入平台中的数据总量、数据表结构以及详细的每条数据信息。数据内容不完整的，可通过平台提供的数据内容导入模板，批量导入相关数据内容进行更新。
- 数据标准管理
对平台使用的数据标准进行导入和管理，可根据平台提供数据标准导入模板数据标准的基本信息、数据集、代码集等基本信息。
- 数据安全管理
平台提供统一的安全日志管理包括平台用户操作痕迹日志以及系统报错日志。对平台相关数据的所有用户操作留痕记录信息包括：操作用户、IP地址、操作日期、操作对象、日志类型、事件名称、操作内容。可根据日志记录的类型、事件名称、操作用户、时间段进行日记记录信息的查询。
-
-
-
- 身份认证
-
-
身份认证为区域大数据提供统一的接入应用管理、用户基础信息管理及统一权限配置管理。平台采用主流CAS单点登录认证方式
，提供统一的应用技术标准接口，为第三方应用的认证接入进行统一的权限认证管理，真正做到通过一个账号，实现所有业务应用的登陆认证及权限分配管理。
- 统一应用管理
通过模块化的管理方式，对平台接入的所有应用进行统一管理，可根据用户的实际工作安排，随时随地增加相应的应用进入平台进行统筹安排。
根据应用接入的不同层级，可对应用实现不同的应用权限管理。
- 平台原生内部应用
对原生内部应用，可实现应用的多级菜单及按钮资源管理。
- 外部接入应用
对外部接入应用，可实现按不同角色进行管理。
- 统一账号管理
统一账号管理对用户账号按照教育局用户、老师、学生、家长四个类别进行分类管理。提供统一的用户账号信息导入及账号密码重置功能。
- 账号信息查询
可根据账号的四个分类，按照姓名、电话以及身份证号进行查询。
- 账号密码重置
最低0.47元/天 解锁文章
扫一扫
593
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
