- 博客(3)
- 收藏
- 关注
RSS订阅原创 Spark的任务调度流程(Driver 内部运行流程)
Spark的核心是基于RDD来实现的，Spark任务调度就是如何组织任务去处理RDD中每个分区的数据，根据RDD的依赖关系构建DAG，基于DAG划分Stage，然后将每个Stage中的任务（Task）分发到指定的节点去运行得到最终的结果。然后把每个阶段的线程放置到一个TaskSet中, 提交给TaskScheduler , TaskScheduler遍历每一个TaskSet , 将其尽可能均衡地分配给 Executor 来运行, 最后Driver 进行监控管理即可.一个TaskSet对应的调度阶段。
2023-04-04 16:46:11
394
原创 数仓建模的思考点
(2) 雪花模型: 雪花模型是当有一个或多个维表没有直接连接到事实表上，而是通过其他维表连接到事实表上时，其图解就像多个雪花连接在一起，故称雪花模型。实际应用中 给到你的源数据, 你针对你负责的主题进行确定你需要的表, 再对你的表进行区分事实表跟维度表。，因为很多数据仓库都是多个事实表的。所以星座模型只反映是否有多个事实表，他们之间是否共享一些维度表。事实表就是销量表，维度表就是地区表。(1)星型模型: 一张事实表对应多张维度表, 如下图。(3)星座模型: 多个事实表共享维度表, 如下图。
2023-04-03 15:43:12
98
1
原创 数仓DWD层(明细层-data warehouse detail)的构建
(2)事实表跟维度表：事实表是指其中保存了大量业务度量数据的表，是数仓最核心的表。比如说你做一个销售主题，那么ods中的 订单详情表 就是事实表，而 产品分类表、区域表、店铺表就是维度表。比如我有100w用户，用户表记录了他们的状态，如果部分用户状态每天都有更新，我采用每天存全量用户数据的方式来记录历史和更新的状态，这样极大浪费存储空间，我用拉链表的话，每天把跟新用户的数据插入到用户表，这样既保留了历史数据，并且使存储最为节约。总结: 这层主要是清洗、转换数据，区分事实表跟维度表构建拉链表。
2023-02-10 13:30:47
594
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人