由于集群(1Master,Slaves)的资源非常可怜,每个节点系统可用的内存分配不足,所以设置了几个参数:
export SPARK_WORKER_MEMORY=512M
export SPARK_DAEMON_MEMORY=256M
情况如下:
由于集群(1Master,Slaves)的资源非常可怜,每个节点系统可用的内存分配不足,所以设置了几个参数:
export SPARK_WORKER_MEMORY=512M
export SPARK_DAEMON_MEMORY=256M
情况如下: