对离线数仓的整个数据流程架构整理

对离线数仓的整个数据流程架构整理

业务背景

1. 基于游戏的数据分析业务，对玩家的统计信息进行分渠道，分服务器的灵活即时查询。
2. 并可以实时响应相关统计指标的明细查询，实现数据的钻取。

技术选型

3. 整个大数据分析平台选用业内较为流行的CDH进行部署，相关组件的使用，根据业务需要，进行相应的添加。

预想时流程架构图

当前流程架构图

游戏技术架构

1. 服务端采用SpringBoot+Mybatis+Netty+Mysql+Redis进行架构，Mysql采用主备复制
2. 客户端采用U3D+Netty
3. 通讯协议采用ProtoBuf

之前日志采集面临的问题

<