- 博客(4)
- 收藏
- 关注
RSS订阅原创 spark笔记（3）—— spark2.x内存管理模型
文章目录1、简介2、内存分配2.1、静态内存管理器2.2、统一内存管理器2.2.1、堆内内存(On-heap Memory)2.2.2、堆外内存(Off-heap Memory)3、Execution 内存和 Storage 内存动态调整4、Task 之间内存分布5、demo1、简介 spark作为基于内存的分布式计算引擎，其内存管理模型在整个系统中起着非常重要的作用。了解Spark内存管理...
2019-09-05 11:43:46
499
原创 spark笔记（2）——sortByKey()算子为何会触发job
问题 在执行spark任务中，发现sortByKey()算子会触发一个新的job但在spark中，sortByKey()算子归属于Transformations列表中，而只有当算子是action的时候，才会触发新的job，那么sortByKey()为何会触发新的任务呢？让我们去看看sortByKey()的算子源码。。。。原因很明确了，因为在sortByKey()...
2019-08-22 22:33:56
1037
1
原创 spark笔记（1）——SparkContext 与JavaSparkContext互相转化
问题 在spark2.0中，官方推荐Spark中所有功能的入口点都是SparkSession类，对于Java开发人员来说，就不太方便从SparkSession中获取JavaSparkContext 2.0之前JavaSparkContext写法：SparkConf sparkConf = new SparkConf().setAppName("spark").se...
2019-08-21 16:46:55
6983
原创 Virtualbox 安装centos7.0 无法安装增强功能，导致无法全屏等问题
安装完centos7.0 虚拟机，点击安装增强功能之后，运行一会儿之后出现fail。。。。然后提示查看日志，查看日志之后发现原因是因为没有安装gcc, kernel, kernel-devel，于是使用yum安装：yum install -y gcc kernel kernel-devel然后重启虚拟机，再次安装增加功能--》选择yes--》等待一会儿之后提示安装成功，再次重新
2017-02-14 18:39:35
10651
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人