spark
挪威马天雨
学而不思则罔,思而不学则殆
展开
-
spark笔记(1)——SparkContext 与JavaSparkContext互相转化
问题 在spark2.0中,官方推荐Spark中所有功能的入口点都是SparkSession类,对于Java开发人员来说,就不太方便从SparkSession中获取JavaSparkContext 2.0之前JavaSparkContext写法:SparkConf sparkConf = new SparkConf().setAppName("spark").se...原创 2019-08-21 16:46:55 · 6918 阅读 · 0 评论 -
spark笔记(2)——sortByKey()算子为何会触发job
问题 在执行spark任务中,发现sortByKey()算子会触发一个新的job但在spark中,sortByKey()算子归属于Transformations列表中,而只有当算子是action的时候,才会触发新的job,那么sortByKey()为何会触发新的任务呢?让我们去看看sortByKey()的算子源码。。。。原因很明确了,因为在sortByKey()...原创 2019-08-22 22:33:56 · 1021 阅读 · 1 评论 -
spark笔记(3)—— spark2.x内存管理模型
文章目录1、简介2、内存分配2.1、静态内存管理器2.2、统一内存管理器2.2.1、堆内内存(On-heap Memory)2.2.2、堆外内存(Off-heap Memory)3、Execution 内存和 Storage 内存动态调整4、Task 之间内存分布5、demo1、简介 spark作为基于内存的分布式计算引擎,其内存管理模型在整个系统中起着非常重要的作用。了解Spark内存管理...原创 2019-09-05 11:43:46 · 490 阅读 · 0 评论