数据平台简介

目标

1. 为了给各个业务平台提供稳定可靠的数据
2. 提供一个通用的数据处理流程解决方案
3. 生成一些面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合
4. 整合多个数据源的历史数据进行细粒度的、多维的分析
5. 说白了就是读取数据–>生产数据–>交付数据的过程

一些概念

ETL

ETL，Extraction-Transformation-Loading的缩写，中文名为数据抽取、转换和加载。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。

数据仓库

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

目前要解决的问题

1. 需要任务调度监控平台来管理数据读取、生产、交付的一系列脚本，任务的调度与监控。
2. 需要一个API接口平台来满足一些数据的即席查询。
3. 需要一个数据同步平台来将生产完成的数据同步到各个业务端。
4. 需要一个数据检测平台来控