spark配置环境的一些重要概念

免责声明：本文仅代表个人观点，如有错误，请读者自己鉴别；如果本文不小心含有别人的原创内容，请联系我删除；本人心血制作，若转载请注明出处

比如我所使用的集群吧，有三台机子，master、slave1、slave2 ，每个电脑 24 核 

每一台机子都是一个work而node，而每个worker都可以运行不止一个work，

SPARK_WORKER_CORES=6    每一个worker所调用的核的数目
SPARK_WORKER_INSTANCES=4   每个Workernode上运行Worker进程的数目

SPARK_WORKER_MEMORY=10G    每个Worker进程的内存大小

每个executor 进程运行在一个worker上

每个executor可以运行一个或者多个task ，多个处于同一阶段的task可以组成一个stage

最后附上一些常用概念作为对照