如何快速落地数据分析平台 大数据在他趣的应用实践

张嵩，厦门大学计算机硕士毕业，现于他趣任首席架构师，主要负责微服务体系健全及持续交付体系建设。Go语言爱好者及contributor，近期专注于k8s在他趣的第二版落地及探寻 Machine Learning 在社区的应用。

在各种 RDB 的支撑下，通过埋点等我们已经能够实现各种业务统计、监控、分析等方面的需求，但是我们会最先触碰到哪些瓶颈呢？而碰到瓶颈后又要如何通过大数据应用来解决呢？这是本文想要着重探讨的地方。

探索三步曲 步步简化

图 1 是一个常见的情况，在每一台服务器日志上去部署一些数据分析，简单分析后会上报到RDB Redis上，之后会进行二次运算，紧接着到达展示层；在这个过程中，查询日志可以在ELK上进行。这算是比较简单的一个方案，基本可以满足大家的需求。但是这样做也会产生一些问题：

• 新增不易；

• 直接统计出结果数据集过于庞大，二次运算的复杂度取决于空间的维度；

• 可接受的时间复杂度

• 集群维护复杂度

鉴于这几个问题，我们