- 博客(3)
- 收藏
- 关注
RSS订阅原创 数据采集
任何数据分析平台都必须有数据采集模块，它在整个平台的位置处于最底层，因此稳定性和实时性是评估它最重要的二个维度。试想，用户动不动就提取不到所需的分析数据，亦或在急需数据的时候却不能及时的提取，都会严重影响用户的体验。我所参与开发的通信数据分析平台，主要的数据来源是各种网元节点生成的日志文件。因此，在网元节点和分析平台之间，如何做到及时稳定的进行日志文件的同步，是需要考虑的核心问题。批量采集最开始的阶
2017-07-28 13:59:14
410
原创 通信数据分析平台（二）
前言上期文章中开了个头，描述了平台的初代架构。作为研发人员，能够经历从无到有的开发过程，同时看到平台的上线，给用户的数据分析工作带来了一定的效率提升，真实的感受到了价值感和成就感。然而随着业务方面的新需求不断的提出，平台需要接入的数据源类型不断增加，需要分析的网络规模不断扩大。经过对数据量的评估，发现现有的单库结构已经很难需求，于是，我们对数据库模块进行一次架构升级。平台2016首先给出16年设计的
2017-07-25 15:07:32
399
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人