数据仓库
鸣宇淳
这个作者很懒,什么都没留下…
展开
-
Flink维表Join实践
这个文章是根据 【实时数仓篇】基于 Flink 的典型 ETL 场景实现 写的,对视频中讲解的四种维表Join分别实现了一些Demo。常见的维表Join方式有四种:预加载维表热存储维表广播维表Temporal table function join下面分别使用这四种方式来实现一个join的需求,这个需求是:一个主流中数据是用户信息,字段包括用户姓名、城市id;维表是城市数据,字段包括城市ID、城市名称。要求用户表与城市表关联,输出为:用户名称、城市ID、城市名称。1、 预加载维表通过定义原创 2020-06-01 22:06:35 · 4666 阅读 · 6 评论 -
数据仓库架构设计的一点概念
1、数据仓库所处环节在一个成体系、结构化的数据应用场景下,数据和处理有四个层次: 操作层、数据仓库层、部门/数据集市层、个体层。(1) 操作层是指为具体业务提供实时响应的各个业务系统,比如常见的订单系统、ERP、用户中心等等具体业务系统,这些系统中的数据一般都是存入关系型数据库。它们是数据的来源。 (2) 数据仓库收集操作层各个业务系统中的数据,进行统一格式、统一计量单位,规整有序地...原创 2018-05-28 09:31:33 · 13088 阅读 · 0 评论