通信数据分析平台（一）

背景

目前移动互联网的发展，伴随着通信数据的爆炸式增长。无论是设备厂商还是运营商，都纷纷推出自研的数据分析平台，用来做更快的处理网络故障，更精确的定位用户投诉，甚至能做到前瞻性的预测。

本人经历了平台从无到有的发展过程，最近正好有时间可以回顾一下。所以准备从架构角度出发，把其中的一步步迭代都梳理出来。

平台2015

首先给出15年设计的平台架构图：

在平台出现之前，工程师只能应付很少量的数据分析，一旦碰到巨大的数据量，只能是望而却步，无法完成分析任务。但是，旺盛的需求始终是要找到解决渠道，这也加速了平台研发的启动。

巨大的业务数据来自各种网元节点，或者是接口数据，每时每刻都在生成。平台在最开始阶段，考虑的是定时收集，目标是实现批量收集，处理。

业务数据的类型众多，而且大部门都是原始二进制码流，因此，需要有专门的解析模块，对数据进行解析和二次清洗，输出所需字段的文件。

入库模块接收解析后文件，将数据load到数据库中（mysql），这个模块的效率非常关键，很容易成为瓶颈。

最后，分析所需的各种数据，需要通过编写算法来生成。这里，我们通过mysql编程来实现，包括触发器，存储过程等。