Spark高级
文章平均质量分 92
今心木目
世界正在无限加速,今不待我,明无今时
展开
-
【Spark 2.1.1 调优】Spark性能调优 2020_01_15
Spark性能调优SparkJob WebUI 工具页签Spark性能调优数据序列化内存调优内存管理概述确定内存消耗※ 内存调整措施 ※其他调优参数并行度ReduceTask内存使用广播大变量数据本地化SparkJob WebUI 工具页签 Jobs => 由行动算子决定(1 action = 1 job) Stages => 由 Shuffle 算子决定(Shuffle算子 ...原创 2020-01-15 22:55:50 · 408 阅读 · 0 评论 -
【Spark 2.1.1 原理】Spark原理② Spark RDD 创建 分区 并行度 源码级 2020_01_14
Spark RDD 原理创建RDD的3种方式开局一张图(图解)流程源码创建RDD的3种方式基于内存转换基于本地文件转换基于Hive表转换开局一张图(图解)提示:双击大图流程源码零、前置//Spark配置文件//local = 1线程 local[2] = 2线程val conf: SparkConf = new SparkConf().setMaster("local[...原创 2020-01-14 21:34:41 · 200 阅读 · 0 评论 -
【Spark 2.1.1 原理】Spark原理① spark-submit 源码级 2019_12_17
SparkSubmit 完整流程,完全根据源码绘制详细重点,均以 图形及源码进行展示原创 2019-12-18 15:41:05 · 187 阅读 · 0 评论