目录
Spark学习之路 (二)Spark2.3 HA集群的分布式安装
Spark学习之路 (六)Spark Transformation和Action
Spark学习之路 (八)SparkCore的调优之开发调优
Spark学习之路 (九)SparkCore的调优之数据倾斜调优
Spark学习之路 (十)SparkCore的调优之Shuffle调优
Spark学习之路 (十一)SparkCore的调优之Spark内存
Spark学习之路 (十二)SparkCore的调优之资源调优
Spark学习之路 (十三)SparkCore的调优之资源调优JVM的基本架构
Spark学习之路 (十四)SparkCore的调优之资源调优JVM的GC垃圾收集器
Spark学习之路 (十五)SparkCore的源码解读(一)启动脚本
Spark学习之路 (十六)SparkCore的源码解读(二)spark-submit提交脚本
Spark学习之路 (十九)SparkSQL的自定义函数UDF
Spark学习之路 (二十一)SparkSQL的开窗函数和DataSet
Spark学习之路 (一)Spark初识
Spark学习之路 (二)Spark2.3 HA集群的分布式安装
Spark学习之路 (三)Spark之RDD
Spark学习之路 (四)Spark的广播变量和累加器
Spark学习之路 (五)Spark伪分布式安装
Spark学习之路 (六)Spark Transformation和Action
- Transformation算子
- 一、map、flatMap、mapParations、mapPartitionsWithIndex
- 二、reduce、reduceByKey
- 三、union,join和groupByKey
- 四、sample、cartesian
- 五、filter、distinct、intersection
- 六、coalesce、repartition、repartitionAndSortWithinPartitions
- 七、cogroup、sortBykey、aggregateByKey
Spark学习之路 (七)Spark 运行流程
Spark学习之路 (八)SparkCore的调优之开发调优
- 调优概述
- 原则一:避免创建重复的RDD
- 原则二:尽可能复用同一个RDD
- 原则三:对多次使用的RDD进行持久化
- 原则四:尽量避免使用shuffle类算子
- 原则五:使用map-side预聚合的shuffle操作
- 原则六:使用高性能的算子
- 原则七:广播大变量
- 原则八:使用Kryo优化序列化性能
- 原则九:优化数据结构
- 原则十:Data Locality本地化级别
Spark学习之路 (九)SparkCore的调优之数据倾斜调优
Spark学习之路 (十)SparkCore的调优之Shuffle调优
- 一、概述
- 二、shuffle的定义
- 三、ShuffleManager发展概述
- 四、HashShuffleManager的运行原理
- 五、SortShuffleManager运行原理
- 六、shuffle相关参数调优
Spark学习之路 (十一)SparkCore的调优之Spark内存
Spark学习之路 (十二)SparkCore的调优之资源调优
Spark学习之路 (十三)SparkCore的调优之资源调优JVM的基本架构
Spark学习之路 (十四)SparkCore的调优之资源调优JVM的GC垃圾收集器
Spark学习之路 (十五)SparkCore的源码解读(一)启动脚本
Spark学习之路 (十六)SparkCore的源码解读(二)spark-submit提交脚本
Spark学习之路 (十七)Spark分区
Spark学习之路 (十八)SparkSQL简单使用
Spark学习之路 (十九)SparkSQL的自定义函数UDF
Spark学习之路 (二十)SparkSQL的元数据
Spark学习之路 (二十一)SparkSQL的开窗函数和DataSet