Standalone spark-env.sh 配置

本文列取了部分spark-env.sh里面的配置

SPARK_MASTER_OPTS            设置只适用于Master的配置属性，形式为“-Dx = y” (默认值:无)，配置选项参见下面列表。

 

SPARK_LOCAL_DIRS                 设置Spark 缓存空间目录, 包括存储在磁盘上的映射输出文件和RDDS；这可以是一种快速的本地磁盘系统, 也可以是一个以逗号分隔的位于.不同磁盘上的多个目录。

SPARK_WORKER_CORES        设置Applications可用的内核总数(默认: 可用的全部内核).

 

SPARK_WORKER_MEMORY     设置Applications可用的内存总量, 例如1000M,2G(默认值:内存总量减去1GB)。注意：单个Application的内存配置使用它的spark.executor.memory属性.

SPARK_WORKER_PORT            在特定端口上启动worker (默认: 随机值)。

SPARK_WORKER_WEBUI_PORT   Worker web UI端口(默认值: 8081)

 

SPARK_WORKER_INSTANCES     在每台机器上运行的worker实例数量(默认值: 1)。如果你有非常多的机器, 并且希望启动多个spark-worker进程,可以使worker的实例数大于1。如果这样设置，还要确保设置环境变量SPARK_WORKER_CORES来