这份文件主要介绍了大数据治理平台的架构、技术架构、功能架构及应用场景分析解决方案,核心内容如下:
大数据治理平台背景:
大数据时代现状:当前社会被海量数据信息包围,各行业如电信、金融、制造、政府、电力等都在积极利用大数据进行业务创新。
当前大数据技术应用:已广泛应用的大数据技术包括Hive、Spark、Storm、HBase等,解决了数据存储、交换、分析等问题。
大数据建设挑战:存在数据管理不规范、使用不明确、监控不到位等问题,以及各厂商之间数据质量参差不齐、协调困难等挑战。
大数据治理平台需求:
业务需求:需要建立有效的数据管理体系,快速识别数据,理解数据业务含义。
管理需求:需要专业的大数据管理团队,解决大文件数据传输慢、大数据量实时传输无解决方案等问题。
技术需求:需要全面支撑的落地平台,解决跨平台数据问题,实现统一的技术管理平台。
大数据治理平台应用场景:
数据管理:建立数据管理体系,实现自动化获取元数据信息,标明数据方位,整理业务属性。
数据共享:建立专业的数据共享通道,梳理数据交换需求,实现数据资产与服务对接。
数据监控:提供专业的数据监控体系,明确重要监控指标,建立多渠道监控方式。
大数据治理平台建设方案:
平台定位:从数据中心转变为服务中心,提供数据服务,实现数据价值变现。
平台架构:包括数据服务总线、数据开发平台、数据资产平台、数据监控平台等核心组件。
数据使用流程:涉及业务运营人员提出需求,业务系统开发人员查找数据,大数据中心管理者和开发者确认并交付数据的过程。
大数据治理平台功能架构:
数据资产平台:负责数据资产的采集、管理、使用、分析等功能。
数据开发平台:提供图形化开发界面,支持数据模型设计、数据资源管理、数据交换开发等功能。
数据服务总线:解决多渠道数据共享问题,支持数据接口、文件、数据库等多种数据共享方式。
数据监控平台:负责数据采集、传输、质量、服务等全方位监控,提供告警提醒和统计分析功能。
大数据治理平台技术架构:
技术组件:包括采集组件、解析组件、加工组件等,支持多种数据源对接和数据处理。
关键技术:如数据资产采集解析算法、可插拔的采集适配器、MOF模型规范等。
大数据治理平台价值:
数据资产平台价值:建立统一的数据审核机制,提供数据模型视图,辅助定位数据问题。
数据开发平台价值:提升开发效率,复用结构化组件,统一数据开发方式。
数据服务总线价值:提供多渠道数据共享,支持实时数据传输,保证数据安全。
数据监控平台价值:及时发现数据问题,提高数据质量,建立闭环质量管理机制。
大数据治理平台实施路线:
实施阶段:包括建立平台、项目实施、治理数据等阶段,逐步实现数据管理和数据服务的一体化。
文件最后总结了大数据的全生命周期闭环管理,并强调了普元大数据治理平台的特色和实践路线,为大数据治理提供了全面的解决方案。