spark学习3 standalone下的 env和default的配置

spark-env文件的配置

HADOOP_CONF_DIR=/usr/hadoop
ARK_MASTER_IP=localhost.localdomain
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_PORT=7078
SPARK_WORKER_MEMORY=1000m
SPARK_WORKER_WEBUI_PORT=8081
SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://localhost:9000/sparkhistory"

hadoopdir配置了读取的文件默认都是读取hdfs，如果都本地就注释掉重新进spark-shell
最后一行是spark历史存储路径参见(module)

worker节点的excuter数量

SPARK_WORKER_INSTANCES=1

worker节点配置

slaves文件
加入master和slaves

localhost.localdomain

spark-defaults.conf

spark.master                     spark://localhost.localdomain:7077
#log存储地址要与history一致()参见configure sparkUI
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://localhost.localdomain:9000/sparkhistory

第一行配置后，可以直接
spark-shell 不用加–master神马的

history启动

/usr/spark/sbin/start-history-server.sh 

spark-submit

spark-submit --help

就可以知道怎么用