更多相关资料来源知识星球：优享智库
一、智慧能源大数据云数据平台建设与实施方案
1.数据分析平台
数据分析平台主要实现数据的采集、大数据处理分析，平台建设与实施主要工作内容包括：
l 数据集成平台的安装部署与配置调优；
l 大数据处理平台的安装部署与配置调优；
l 大数据流程调度平台的安装部署与配置调优；
l 数据集成作业、作业流开发配置；
l 数据采集接口设计开发；
l 大数据分析组件扩展设计开发。
2.数据展示平台
数据展示平台主要实现大数据展示仪表板、报表、移动设备展示等内容进行开发配置。平台建设与实施主要工作内容包括：
l 数据展示平台的安装部署与配置调优；
l 数据展示控件与皮肤样式调整。
3.数据管理平台
数据管理平台主要实现元数据管理、数据质量管理，并基于元数据管理实现数据问题追溯、影响分析、数据资产盘查等一系列应用。平台建设与实施主要工作内容包括：
l 元数据管理平台的安装部署与配置调优；
l 数据治理管理平台的安装部署与配置调优；
l 元数据仓库模型结构的定义与初始化；
l 元数据采集器的扩展设计开发；
l 元数据应用的扩展设计开发；
l 元数据的采集与初始化；
l 数据质量检核规则的配置初始化；
l 数据质量检核报告的配置初始化。
4.数据分析展示应用设计开发
云数据平台建设完成之后，需要根据数据分析与展示需求进行相关应用的设计开发。主要工作内容包括：
l 数据分析应用的需求分析；
l 数据分析应用的设计；
l 数据分析应用的开发；
l 数据展示需求分析；
l 数据展示设计开发。
二、总体方案说明
通过大数据技术平台产品和技术服务，开展大数据平台建设。逐步实现由SAP BW单一数据分析环境，向以分布式数据库为支撑的大数据平台数据架构演进。主要方案内容包括：
（一）大数据分析平台：
1.数据采集：
l 支持从SAP相关系统CCS、OIL、CRM等系统采用增量、数据变更触发、自动调度等方式采集数据。
l 支持从EAS、预算合并等定制系统的关系数据库中采集数据。
l 支持从文档工作流等非结构化或半结构化数据库中采集数据。
l 支持数据采集写入到HDFS、HBase、Hive等大数据库中。
l 支持准实时数据的采集和处理。
2.数据存储处理：
l 支持原来BW数据仓库的数据逐层转换处理。
l 支持Hadoop大数据库中进行分布式海量数据的并行处理。
l 支持流式数据处理。
3.数据分析工具：
l 大数据平台提供面向数据分析师的若干工具，包括数据加工台，数据产品开发工具、数据可视化工具以及数据服务 REST API等。
（二）大数据展示平台：
1.数据可视化展示：
l 支持以图形化方式开发配置大数据分析展示的仪表板、报表、查询、移动设备展示等内容。
l 支持与底层关系数据库、Hadoop大数据库等多种类型的数据存储对接，实现数据的可视化展示。
（三）大数据管理平台：
2.元数据管理：
l 支持SAP系统数据库、ETL工具、存储过程、数据仓库表结构/脚本、Hadoop数据库结构等类型元数据的采集；
l 支持基于CWM标准规范自定义元模型库结构，支持各种不同类型、不同结构关系、不同模型细节的元数据结构完全自定义。
l 支持基于元数据进行数据血统分析、数据问题追溯、数据变更影响分析、数据资产盘查、数据模型管理等应用场景。
3.数据质量管理：
l 支持通过导入和配置的方式建立数据质量检核的规则，实现对资源层、数据仓库、数据集市以及数据处理过程每个区域的数据质量检核；
l 支持多维度的数据质量评估，如数据的及时性、重复性、关联性、正确性、完全性、一致性、合规性等。
l 具备数据报警机制管理，可灵活设置管理及监控规则。数据监控结果实现与新奥邮箱、移动APP的推送。
提供丰富的数据质量分析报告，可以为数据管理考核提供依据。
三、智慧能源大数据平台总体方案架构
本项目设计包括大数据分析、大数据展示和大数据管理（治理）在内的目标架构,并且支持大数据分析平台的云部署架构。
782
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
