本文探讨了数据仓库的技术架构设计，包括离线、离线+实时和实时架构。离线架构涉及数据采集、存储、计算和调度的选型，如DataX、HDFS、Spark。离线+实时架构增加了实时处理组件，如Kafka、HBase。实时架构则关注实时引擎和存储，如Flink、Es。文章建议根据业务需求选择适当架构，实时数仓需考虑资源占用和数据存储策略。
谈笑间学会数仓-技术架构设计
1、前言
-
为何要谈数据仓库技术架构设计呢？
技术架构设计是建设数仓的必备因素之一，分层架构为我们捋清了数据的架构及分层规范，并没有真正落地到具体的实施？
有人说技术架构有什么好设计的？直接开整呗？
事实上并不是如此，成功始于计划，终于变化～
总而言之，言而总之，数仓设计是需要有技术方案来落地的。那么主要包含哪些呢？
离线、实时、离线+实时呗
2、离线技术架构
- 首先我们来看一波架构图吧
- 小结
- 离线技术架构无非包括以下几块内容的技术选型
- 数据采集：datax、sqoop、flume
- 数据存储：HDFS、Hive
- 数据计算：MapReduce、sparksql、spark、hive、kylin、presto、impala
- 任务调度：Oozie、crontab、azkaban
- 离线技术架构无非包括以下几块内容的技术选型
最低0.47元/天 解锁文章
扫一扫
946
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
