- 博客(2)
- 收藏
- 关注
RSS订阅原创 MapReduce（1）
MapReduce是由一组数据每条记录通过Map方法映射成为一组KV数据，相同key为一组执行reduce方法，方法内迭代执行数据。由图所示，数据输入来源于HDFS的块，由HDFS块读取同样大小的切片数据，切片数据通过格式化format成一条条record记录，record作为map方法入参执行map方法生成kv键值对数据（1条、多条、或者无输出）。
2023-10-14 17:17:26
66
1
原创 数仓基本概念：数据集市及分层
*问：**还是不太明白 ods 和 dwd 层的区别，有了 ods 层后感觉 dwd 没有什么用了。**答：**嗯，我是这样理解的，站在一个理想的角度来讲，如果 ods 层的数据就非常规整，基本能满足我们绝大部分的需求，这当然是好的，这时候 dwd 层其实也没太大必要。但是现实中接触的情况是 ods 层的数据很难保证质量，毕竟数据的来源多种多样，推送方也会有自己的推送逻辑，在这种情况下，我们就需要通过额外的一层 dwd 来屏蔽一些底层的差异。
2023-09-02 17:18:23
1117
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人