大数据数据中台之数据处理

---

前言

数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。只有将数据有序的组织和存储起来之后，数据才能得到高性能、低成本、高效率、高质量的使用。
高性能：良好的数据模型能够帮助我们快速查询所需要的数据。
低成本：良好的数据模型能减少重复计算，实现计算结果的复用，降低计算成本。
高效率：良好的数据模型能极大的改善用户使用数据的体验，提高使用数据的效率。
高质量：良好的数据模型能改善数据统计口径的混乱，减少计算错误的可能性。

---

一、数据仓库是什么？

数据仓库是一个为数据分析而设计的数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。

二、使用步骤

1.创建任务

编写分析语句

2.发布规则配置

3.任务安全机制

设定任务的优先级和任务失败重试次数，如果发生异常，可通过邮件方式提醒项目负责人。

4.查看任务依赖和执行情况

---

总结

优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。

大数据中台包括：离线数仓，实时数仓，质量监控，数据服务，数据安全，数据资产，数据大屏。
欢迎技术交流:qq 493467006，非诚勿扰。