spark
文章平均质量分 59
架构森林之旅
知名企业高级攻城狮及架构师,有学习相关问题可随时交流哦!
展开
-
数据建模规范
一、建模设计参考规范1、建模原则 高内聚和低耦合 核心模型与扩展模型分离 公共处理逻辑下沉及单一 成本与性能平衡 数据可回滚 一致性 命名清晰、可理解表命名需清晰、一致,表名需易于使用方理解 2、建模评价指标 完善度 汇总数据能直接满足多少查询需求 跨层引用比列(业务方直接从dwd、dws、ads层直接拿到想要的数据) 快速相应业务方的需求 复用度 模型被读取并原创 2022-04-19 15:16:59 · 1840 阅读 · 0 评论 -
深入浅出Spark(一)
1.map与mapPartitons区别(transformation操作) map 针对RDD中的每个元素进行转换,粒度更细 mapPartitions 针对分区整体数据进行转换,粒度更粗 2.foreach与foreachPartitions区别(action操作) foreach 针对RDD中每个元素就行输出,粒度更细 foreachPartitions 针对分区整体进行输出,粒度更粗 3.repa原创 2022-04-08 14:10:20 · 102 阅读 · 0 评论