林元煌

原创 大数据 - 统计分析平台架构介绍

目的主要功能是对某个互联网产品多个系统产生的日志进行收集，对各系统的日志格式进行统一，存储到平台特定目录下面。在Azkaban任务调度系统中配置job，对平台上的数据进行ETL操作和分析，将最终产生的结果数据存储到Mysql，redis或elastics中，分别用作报表展示，或者App特定功能的数据来源。