Spark
文章平均质量分 87
久醉绕心弦i
没事就把笔记复制粘贴进去,真机智
展开
-
spark core 复盘学习之Transformation与Action算子
二、Transformation转换算子2.1Value类型2.1.1map()映射2.1.2mapPartitions()以分区为单位执行Map2.1.3 map()和mapPartitions()区别2.1.4 mapPartitionsWithIndex()带分区号2.1.5 flatMap()压平2.1.6 glom()分区转换数组2.1.7 groupBy()分组groupBy会存在shuffle过程2.1.8...原创 2021-04-08 14:20:16 · 250 阅读 · 0 评论 -
spark core 复盘学习之RDD
一、RDD概述1.1 什么是RDD1.2 RDD特性 A list of partitions (多个分区,分区可以看成是数据集的基本组成单位) 对于 RDD 来说, 每个分区都会被一个计算任务处理, 并决定了并行计算的粒度。用户可以在创建 RDD 时指定 RDD 的分区数, 如果没有指定, 那么就会采用默认值。 默认值就是程序所分配到的 CPU Core 的数目。每个分配的存储是由BlockManager 实现的, 每个分区都会被逻辑映射成 BlockManager 的一个原创 2021-04-07 17:12:20 · 183 阅读 · 0 评论