数据仓库、数据中心相关技术知识和生态相关了解

最新推荐文章于 2024-06-15 13:02:09 发布

简简单单OnlineZuozuo

最新推荐文章于 2024-06-15 13:02:09 发布

阅读量857

点赞数 1

分类专栏： m2 Java 领域数据库领域中间件领域文章标签：数据仓库 etl big data 大数据

本文链接：https://blog.csdn.net/qq_15071263/article/details/124844743

版权

m2 Java 领域同时被 3 个专栏收录

353 篇文章 130 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

数据库领域

78 篇文章 3 订阅

订阅专栏

中间件领域

29 篇文章 0 订阅

订阅专栏

本文介绍了数据仓库的分层目的、数据集市与数仓的区别，重点讲解了数据处理中的ETL工具Kettle，以及数据湖技术Hudi的特性。此外，还提及了数据中心的相关技术，如Camel框架和Canal的MySQL增量数据同步解决方案。

摘要由CSDN通过智能技术生成

文章目录

数据仓库、数据中心相关技术知识和生态相关了解

数据仓库、数据中心相关技术知识和生态相关了解

1、数据仓库数仓

数仓的分层

1、ODS 层：Operation Data Store    原始数据层   加载原始数据不做处理
2、DWD 层：Data Warehouse Detail   明细数据层   对 ODS 层数据进行清洗，去除空值、脏数据、超过极限范围的数据，对敏感数据进行脱敏
3、DWS 层：Data Warehouse Service  服务数据层   以 DWD 数据为基础，按天进行轻度汇总
4、DWT 层：Data Warehouse Topic    数据主题层   以 DWT 数据为基础，按主题进行汇总
5、ADS 层：Application Data Store  数据应用层   为各种报表提供数据

分层的目的
1、简化复杂任务，方便定位问题
2、减少重复开发
3、隔离原始数据

数据集市（Data Market）和数据仓库
1、数据集市是数据仓库的 Mini 版本，主要服务于部门
2、数据仓库是企业级的，为企业的各个部门提供决策支持手段

一些数仓处理相关的技术框架
1、Azkaban 一套简单的任务调度服务