数仓
Petrov_Dong
这个作者很懒,什么都没留下…
展开
-
尚硅谷实时数仓架构图重绘
这几天跟着教程自学了一下,顺便画了各层之间的关系,欢迎捉虫原创 2022-04-09 18:02:40 · 464 阅读 · 0 评论 -
尚硅谷离线数仓架构图重绘
这几天重新回顾离线数仓的项目,一边看一边重新梳理了架构图,主要是重画了flume和kafka这块,注意一下生产flume和消费flume里面的设计,hive的建仓太复杂,画不出来采集FlumeTailDir Source:用TailDir Source,好处:断点续传、多目录。Exec Source 不能断点续传。Spooling Directory Source只能单目录。 LogInterceptor:拦截器,过滤脏数据 Kafka Channel:省去sink,直接传kafka效率更高原创 2021-11-20 17:01:46 · 1512 阅读 · 0 评论