- 博客(4)
- 收藏
- 关注
原创 spark笔记(3)—— spark2.x内存管理模型
文章目录1、简介2、内存分配2.1、静态内存管理器2.2、统一内存管理器2.2.1、堆内内存(On-heap Memory)2.2.2、堆外内存(Off-heap Memory)3、Execution 内存和 Storage 内存动态调整4、Task 之间内存分布5、demo1、简介 spark作为基于内存的分布式计算引擎,其内存管理模型在整个系统中起着非常重要的作用。了解Spark内存管理...
2019-09-05 11:43:46 502
原创 spark笔记(2)——sortByKey()算子为何会触发job
问题 在执行spark任务中,发现sortByKey()算子会触发一个新的job但在spark中,sortByKey()算子归属于Transformations列表中,而只有当算子是action的时候,才会触发新的job,那么sortByKey()为何会触发新的任务呢?让我们去看看sortByKey()的算子源码。。。。原因很明确了,因为在sortByKey()...
2019-08-22 22:33:56 1048 1
原创 spark笔记(1)——SparkContext 与JavaSparkContext互相转化
问题 在spark2.0中,官方推荐Spark中所有功能的入口点都是SparkSession类,对于Java开发人员来说,就不太方便从SparkSession中获取JavaSparkContext 2.0之前JavaSparkContext写法:SparkConf sparkConf = new SparkConf().setAppName("spark").se...
2019-08-21 16:46:55 6994
原创 Virtualbox 安装centos7.0 无法安装增强功能,导致无法全屏等问题
安装完centos7.0 虚拟机,点击安装增强功能之后,运行一会儿之后出现fail。。。。然后提示查看日志,查看日志之后发现原因是因为没有安装gcc, kernel, kernel-devel,于是使用yum安装:yum install -y gcc kernel kernel-devel然后重启虚拟机,再次安装增加功能--》选择yes--》等待一会儿之后提示安装成功,再次重新
2017-02-14 18:39:35 10691
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人