spark
文章平均质量分 88
csdn-延
好记性不如个烂笔头
展开
-
大数据之Yarn和Spark配置与说明
Executor关闭后,其输出的文件,也就无法供其他Executor使用了。在将NodeManager的总内存平均分配给每个Executor,最后再将单个Executor的内存按照大约10:1的比例分配到spark.executor.memory和spark.executor.memoryOverhead。此处的Executor个数是指分配给一个Spark应用的Executor个数,Executor个数对于Spark应用的执行速度有很大的影响,所以Executor个数的确定十分重要。转载 2023-08-20 21:35:49 · 406 阅读 · 0 评论 -
批处理和流处理
目录Apache Storm Apache SamzaApache SparkApache Flink 大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了大规模扩展。 本文将介绍大...转载 2019-04-22 14:54:18 · 1730 阅读 · 0 评论