- 博客(3)
- 收藏
- 关注
原创 数据采集
任何数据分析平台都必须有数据采集模块,它在整个平台的位置处于最底层,因此稳定性和实时性是评估它最重要的二个维度。试想,用户动不动就提取不到所需的分析数据,亦或在急需数据的时候却不能及时的提取,都会严重影响用户的体验。我所参与开发的通信数据分析平台,主要的数据来源是各种网元节点生成的日志文件。因此,在网元节点和分析平台之间,如何做到及时稳定的进行日志文件的同步,是需要考虑的核心问题。批量采集最开始的阶
2017-07-28 13:59:14 419
原创 通信数据分析平台(二)
前言上期文章中开了个头,描述了平台的初代架构。作为研发人员,能够经历从无到有的开发过程,同时看到平台的上线,给用户的数据分析工作带来了一定的效率提升,真实的感受到了价值感和成就感。然而随着业务方面的新需求不断的提出,平台需要接入的数据源类型不断增加,需要分析的网络规模不断扩大。经过对数据量的评估,发现现有的单库结构已经很难需求,于是,我们对数据库模块进行一次架构升级。平台2016首先给出16年设计的
2017-07-25 15:07:32 407
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人