Spark内存管理
gssgch
更多视频,欢迎访问:https://space.bilibili.com/383891492
展开
-
Apache Spark 内存管理详解
Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络,抛砖引玉,引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本,阅读本文需要读者有一定的 Spark 和 Java 基础,了解 RDD、Shuff...转载 2018-06-22 17:27:25 · 5702 阅读 · 0 评论 -
Spark2.x 内存管理之---OFF_HEAP
版权声明:本文为博主原创文章,未经博主允许不得转载!!欢迎访问:https://blog.csdn.net/qq_21439395/article/details/80773121交流QQ: 824203453 1. Spark 内存管理之—OFF_HEAP1.1. 存储级别简介Spark中RDD提供了多种存储级别,除去使用内存,磁盘等,还有一种是OFF_H...原创 2018-06-22 14:19:24 · 7387 阅读 · 0 评论