spark的三种部署模式

spark在虚拟机的三种部署模式

1、local 本地模式 --master local

2、standalone spark自带的运行模式 --master spark://hdp1:7077（hdp1是虚拟机ip）

3、yarn yarn模式 --master yarn

standalone 和yarn 都由两种运行模式，client客户端（默认）和 cluster 集群模式

1、local本地模式 ，结果直接在黑窗口输出

在spark目录运行

bin/spark-submit --master local --class 类的全限定名 jar包所在路径 输入参数

2、standalone模式， client客户端（默认）和 cluster 集群模式

（注意，standalone模式必须先启动spark）命令：在spark目录运行 sbin/start-all.sh

（1）、client默认就是客户端输出

        bin/spark-submit --master spark://hdp1:7077 --class 类的全限定名 jar包所在路径 输入参数

        

 （2）、cluster集群模式，结果在web页面获取 hdp1:8080（虚拟机ip:8080）

        bin/spark-submit --master spark://hdp1:7077 --deploy-mode cluster --class 类的全限定名 jar包所在路径 输入参数

 3、yarn模式，client客户端（默认）和 cluster 集群模式

（注意，使用yarn模式需要先启动hadoop）start-al.sh

（1）、Client 默认就是客户端模式

bin/spark-submit --master  yarn --class 类的全限定名 jar包所在路径 输入参数

 （2）、Cluster集群模式  结果在web页面获取 hdp1:8080（虚拟机ip:8080）

bin/spark-submit --master yarn --deploy-mode cluster --class 类的全限定名 jar包所在路径 输入参数

 yarn模式也可以使用命令查看日志效果

yarn logs -applicationId <app ID>