spark-env.sh配置参数详解

Spark记录-spark-env.sh配置

环境变量	含义
SPARK_MASTER_IP	master实例绑定的IP地址，例如，绑定到一个公网IP
SPARK_MASTER_PORT	mater实例绑定的端口（默认7077）
SPARK_MASTER_WEBUI_PORT	master web UI的端口（默认8080）
SPARK_MASTER_OPTS	master专用配置属性，格式如”-Dx=y” （默认空），可能的选项请参考下面的列表。
SPARK_LOCAL_DIRS	Spark的本地工作目录，包括：映射输出的临时文件和RDD保存到磁盘上的临时数据。这个目录需要快速访问，最好设成本地磁盘上的目录。也可以通过使用逗号分隔列表，将其设成多个磁盘上的不同路径。
SPARK_WORKER_CORES	本机上Spark应用可以使用的CPU core上限（默认所有CPU core）
SPARK_WORKER_MEMORY	本机上Spark应用可以使用的内存上限，如：1000m，2g（默认为本机所有内存减去1GB）；注意每个应用单独使用的内存大小要用 spark.executor.memory 属性配置的。
SPARK_WORKER_PORT	Spark worker绑定的端口（默认随机）
SPARK_WORKER_WEBUI_PORT	worker web UI端口（默认8081）
SPARK_WORKER_INSTANCES	每个slave机器上启动的worker实例个数（默认：1）。如果你的slave机器非常强劲，可以把这个值设为大于1；相应的，你需要设置SPARK_WORKER_CORES参数来显式地限制每个worker实例使用的CPU个数，否则每个worker实例都会使用所有的CPU。
SPARK_WORKER_DIR	Spark worker的工作目录，包括worker的日志以及临时存储空间（默认：${SPARK_HOME}/work）
SPARK_WORKER_OPTS	worker的专用配置属性，格式为：”-Dx=y”，可能的选项请参考下面的列表。
SPARK_DAEMON_MEMORY	Spark master和worker后台进程所使用的内存（默认：1g）
SPARK_DAEMON_JAVA_OPTS	Spark master和workers后台进程所使用的JVM选项，格式为：”-Dx=y”（默认空）
SPARK_PUBLIC_DNS	Spark master和workers使用的公共DNS（默认空）

注意: 启动脚本目前不支持Windows。如需在Windows上运行，请手工启动master和workers。

SPARK_MASTER_OPTS支持以下属性：

属性名	默认值	含义
spark.deploy.retainedApplications	200	web UI上最多展示几个已结束应用。更早的应用的数将被删除。
spark.deploy.retainedDrivers	200	web UI上最多展示几个已结束的驱动器。更早的驱动器进程数据将被删除。
spark.deploy.spreadOut	true	独立部署集群的master是否应该尽可能将应用分布到更多的节点上；设为true，对数据本地性支持较好；设为false，计算会收缩到少数几台机器上，这对计算密集型任务比较有利。
spark.deploy.defaultCores	(无限制)	Spark独立模式下应用程序默认使用的CPU个数（没有设置spark.cores.max的情况下）。如果不设置，则为所有可用CPU个数（除非设置了spark.cores.max）。如果集群是共享的，最好将此值设小一些，以避免用户占满整个集群。
spark.worker.timeout	60	如果master没有收到worker的心跳，那么将在这么多秒之后，master将丢弃该worker。

SPARK_WORKER_OPTS支持以下属性：

属性名	默认值	含义
spark.worker.cleanup.enabled	false	是否定期清理 worker 和应用的工作目录。注意，该设置仅在独立模式下有效，YARN有自己的清理方式；同时，只会清理已经结束的应用对应的目录。
spark.worker.cleanup.interval	1800 (30 minutes)	worker清理本地应用工作目录的时间间隔（秒）
spark.worker.cleanup.appDataTtl	7 * 24 * 3600 (7 days)	清理多久以前的应用的工作目录。这个选项值将取决于你的磁盘总量。spark应用会将日志和jar包都放在其对应的工作目录下。随着时间流逝，应用的工作目录很快会占满磁盘，尤其是在你的应用提交比较频繁的情况下。

转载自：https://www.cnblogs.com/xinfang520/p/8038306.html