整体技术架构模块
第一阶段系统架构
完整系统架构蓝图
大数据分析系统分层关系
整体大数据管理平台,主要由大数据处理层、大数据存储层、大数据仓库层,大数据模型服务层组成。并可提供统一的数据管理工具和开发工具进行大数据管理平台管理和二次开发。
根据项目定位和业务需求,充分考虑不同业务场景对数据服务支撑的诉求,经过严格的测试与丰富的架构经验,本平台将支持内存数据库和关系型数据库的混搭模式作为平台数据服务支撑架构,可升级支持采用分布式文件存储/处理系统、大数据SQL查询引擎。
1.1 系统建设特点
建设具备良好设计的包括企业级大数据平台、计算引擎、BI在内的大数据分析平台,为数据分析工作提供强有力的系统支撑;
满足高层管理的宏观监控、中层管理的数据分析、基层分析的问题追溯;
提供综合业务数据分析,能够打通现有各个信息系统,在完全不修改现有系统任何配置的基础上,打通各个信息系统底层数据库,给决策层提供跨系统的,跨平台的、总体的、宏观的分析报告;
根据不同用户层面,支持报表分析、仪表盘分析,手机应用分析等多种系统服务及应用,设计对应展现仪表盘、分析报表,提升用户体验,以及系统的使用率;
做到真实、客观反映业务的运营水平,覆盖VP层面、工厂层面、部门层面主题的分析,统一各指标的业务口径、分析维度、指标体系等数据标准,满足公司、各区域关键业务运营及系统应用情况监控;
实现自动指标统计及预警;
准确及时地将各指标推送给相关人员,通过制定业务数据质量评价指标,提升业务数据质量,为大数据价值护航;
建立标准的数据分析流程,规范业务操作流程。推动企业数据分析组织的建设,以推动数据在企业上下、价值链上下游的拉通,用数据驱动业务变革;
1.2 基本架构资质
本地/云端,合规性,符合本地法律合规性法律要求
本地/云端,安全认证资质,符合ISO/IEC 27001和更新的安全标准
云端,符合信息安全等级,符合GBT 22240和以上安全等级,符合“可信云”及“等保三级”
1.3 基本架构特征
通过专用工具进行数据装载或大数据工具进行数据装载如Hadoop,再将业务系统及生产设备数据抽取到大数据平台。
流式数据情况下,可通过高吞吐量的分布式发布订阅消息系统,通过IO的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。支持通过服务器和消费机集群来分区消息。支持Hadoop并行数据加载。
结构化数据情况下:使用可视化配置抽取工具从各个业务系统或其他数据源中将数据加载到ODS中,后构造DW(数据仓库)
数据处理层通过大数据技术实现数据高性能计算。
使用报表平台管理展示报表并实现域控集成,实现单点登录,形成报表与表单系统梳扭点。
使用BI展示工具开发各种业务所需报表
基于数据仓库中的数据,为给不同的业务对象提供数据分析。
原文:https://blog.csdn.net/weixin_43944884/article/details/84800616