Spark脚步文件作用说明

2019独角兽企业重金招聘Python工程师标准>>>

  见明知意的文件名，还用我来介绍？？可以说我闲的蛋疼，反正我已经做了记录了，哈哈

  sbin目录下的脚本文件

slaves.sh               在所有定义在${SPARK_CONF_DIR}/slaves的机器上执行一个shell命令
spark-config.sh         被其他所有的spark脚本所包含，里面有一些spark的目录结构信息
spark-daemon.sh			将一条spark命令变成一个守护进程
spark-daemons.sh        在所有定义在${SPARK_CONF_DIR}/slaves的机器上执行一个spark命令
spark-executor          运行org.apache.spark.executor.MesosExecutorBackend，具体作用暂时没关注
start-all.sh            启动master进程，以及所有定义在${SPARK_CONF_DIR}/slaves的机器上启动Worker进程
start-history-server.sh 启动历史记录进程
start-master.sh         启动spark master进程
start-slave.sh          启动某机器上spark slave进程
start-slaves.sh         在所有定义在${SPARK_CONF_DIR}/slaves的机器上启动Worker进程
stop-all.sh             在所有定义在${SPARK_CONF_DIR}/slaves的机器上停止Worker进程
stop-history-server.sh  停止历史记录进程
stop-master.sh          停止spark master进程
stop-slaves.sh          停止某机器上spark slave进程

 bin目录下的脚本文件

 这个目录下有很多.cmd的脚步，就不管了，只关注在linux上可能用到的脚步

compute-classpath.sh    计算spark的classpath并打印出来
load-spark-env.sh       加载spark-env.sh中的配置信息，确保仅会加载一次
run-example             运行example需要用到
spark-class             内部最终为变成用java运行java类
spark-shell             Spark Shell连接spark 集群
spark-submit            提交作业到master

写完后发现一哥们更有意思，把所有脚步的执行流程都解释出来了，可以移步到这里去看

http://www.cnblogs.com/hujunfei/category/563669.html

收工

转载于:https://my.oschina.net/heartdong/blog/294509