- 博客(1)
- 问答 (1)
- 收藏
- 关注
原创 spark优化指南
Spark 程序可能由集群中的任何资源( CPU ,网络带宽或内存)导致瓶颈。首先我们先来介绍了一下spark内存管理的基本原理。后面介绍了内存调优的几种方法。 1. 内存管理概述 Spark中的内存使用大部分属于两类:执行和存储。 执行内存是指用于在混洗,连接,排序和聚合中进行计算的内存,而存储内存指的是用于跨群集缓存和传播内部数据的内存。 在Spark中,执行内存和存储内存共享统一区域...
2018-04-15 16:51:46 281
空空如也
Hadoop测试Wordcount出现的错误
2017-02-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人