从零到一建设数据中台 - 数据服务开发

从零到一建设数据中台（七）- 数据服务开发

一、数据开发流程

将业务数据汇聚到数据仓库中进行数据清洗、数据建模、算法开发、数据质量校验、最终将数据结果以服务化输出。

1. 数据汇聚：创建数据清洗、加工任务并编排，将编排后的任务提交发布进行周期调度。
2. 模型工厂：在数据仓库中，定义数据分层，虚拟ODS层、ODS层、DW层，ADS层等，并将集成的数据，进行分层打标签和数据粗出。
3. 运维监控：将发布至生产环境的任务进行统一运维监控保证任务稳定运行。
4. 数据质量：对数据加工全流程提供质量监管和校验及时发现问题，减少数据污染。
5. 数据服务：将加工、融合后的数据表快速生成数据API、加速数据流动，对外部数据应用提供数据支持。

• 数据集成：支持多种数据仓库引擎配置，包括oracle、mysql、sqlserver、hbase、es、hive等数十种，同时支持在线数据源连接配置，可以同时配置多种数据源连接。支持数据表采集、Excel文件数据采集、自定义SQL