如何构建大数据指标分析系统

目录

一、指标分析的基础分析

二、指标分析技术方案

三、结论

---

前言:技术是为了需求服务。技术的第一性原则是解决问题，不同的技术方案都能实现同样的需求，那在公司原有技术架构上，如何设计技术架构，尽量用最少的大数据组件解决多种应用场景问题。分析分为实事状态分析和预测分析（特征工程），本文用对事实状态指标分析为例，用多种技术方案构建指标分析系统。

一、指标分析的基础分析

1.大数据的指标分析场景：从主机往上分析，有机器的性能指标、中间件的应用指标、业务应用指标、业务指标;其中前三个和安全生产管理、监控、运维相关；业务指标和运营、决策分析相关；面向业务指标是主要的、可操作数据的分析系统。

2.数据分析阶段：数据分析系统会经过数据采集、数据处理、指标计算、结果应用四个阶段。

3.数据样式：数据的样式有OLTP数据库的结构化数据（ER模型或大宽表）；日志等半结构化数据。

4.指标计算思考：分析和计算是两件事，业务要评估是需要分析挖掘还是实事呈现；数据分析和指标计算在技术层面没有强因果联系，但是定式思维导致在构建局部指标需求的时候，往往先构建分析模型（ODS和DWD），再依据DIM层构建DWS到OPS层的计算；这种方式带着传统OLTP计算方式的特征；数据分析阶段，到宽表之前，都是为了指标分析构建数据模型&#x