- 博客(2)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 yarn 内存计算
Spark的Excutor的Container内存有两大部分组成： 堆外内存和Excutor内存 堆外内存(spark.yarn.executor.memoryOverhead) 主要用于JVM自身的开销。 默认： MAX(executorMemory * 0.10, 384m) Excutor内存(spark.executor.memory) Execution: ...
2018-08-09 15:41:34
1451
转载 Spark Shuffle 中 JVM 内存使用及配置内幕详情
引言 Spark 从1.6.x 开始对 JVM 的内存使用作出了一种全新的改变，Spark 1.6.x 以前是基于静态固定的JVM内存使用架构和运行机制，如果你不知道 Spark 到底对 JVM 是怎么使用，你怎么可以很有信心地或者是完全确定地掌握和控制数据的缓存空间呢，所以掌握Spark对JVM的内存使用内幕是至关重要的。很多人对 Spark 的印象是：它是基于内存的，而且可以缓存一大堆数据，...
2018-08-09 14:41:29
481
KafkaOffsetMonitor-assembly-0.2.0
亲测可用哦
java -jar KafkaOffsetMonitor-assembly-0.2.0.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk xxx \
--port 8086 \
--refresh 10.seconds \
--retain 7.days &
2016-01-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人