- 博客(1)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark Shuffle 阶段用到的重要数据结构源码详解
SizeTracker 重要程度*** SizeTracker 定义了对集合进行采样和集合所占内存字节大小的估算. SizeTracker重要的属性: SAMPLE_GROWTH_RATE:Double 采样增长的速率,固定值1.1 samples:mutable.Queue 用于存储采集样本的队列,在该队列中,最多只能保存两个样本,且是最近采集的样本. bytesPerUpdate: Do...
2019-01-23 11:20:35
393
windows-hadoop-bin-2.0.0.zip
解压后,配置变量名为HADOOP_HOME,值为解压路径,即可在eclipse或者Idea中本地执行hadoop的计算任务
2018-05-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人