离线数据平台的开发历程

发展历程

实时平台的建设可以通过搜索 趣头条基于Flink+ClickHouse构建实时数据平台 大佬分享的ppt来学习使用，本系列的分享主要是针对离线平台产品的研发使用迭代经历。

数据门户

• 数据查询:封装 Hive，SparkSQL，Presto 等底层查询引擎，为用户提供 SQL 入口的数据查询界面
• 数据展示:提供实时 & 离线数据，通过指标块，趋势图，维度下钻等方式支持用户的报表 & 分析需求
• AB实验:提供科学流量分配&实验数据报告，为产品功能上线，算法策略优化等提供小流量测试与数据分析决策依据
• 元数据:定时同步 Hive 元数据，提供底层表与业务逻辑的映射，为数仓同学提供元信息的维护界面，为分析师提供元数据的搜索查看界面，统一信息入口，成为元信息的唯一集散地
• 任务调度:在 ETL 调度引擎基础上，通过抽象需求，建立各种业务导向的算子模板，数据抽取等，降低例行任务的配置门槛，稳定可靠满足例行任务
• 用户行为分析:对用户在APP、网页、PC端中产生的操作行为提供实时的多维分析，包括行为事件分析、行为漏斗分析、行为路径分析、留存分析等
• 报表系统:同步tableau上的所有报表,并根据个人数据权限对报表进行权限