spark-on-yarn模式配置

最新推荐文章于 2024-07-02 07:15:00 发布

WangLiang-lyon

最新推荐文章于 2024-07-02 07:15:00 发布

阅读量836

点赞数

分类专栏：学习笔记

本文链接：https://blog.csdn.net/qq_32066409/article/details/81203952

版权

学习笔记专栏收录该内容

11 篇文章 0 订阅

订阅专栏

前期依赖，正常的集群，包括jdk、hadoop、spark.
- 1.在etc/profile里面增加如下几段,有了的就不用重复了
##hadoop export HADOOP_HOME=/soft/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
- 2 在/spark/conf/spark-env.sh最后面加上如下配置
export JAVA_HOME=/soft/jdk1.8.0_65 export SPARK_MASTER_HOST=192.168.56.130 export SPARK_MASTER_PORT=7077 export HADOOP_HOME=/soft/hadoop-2.7.3 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
- 3 执行下列语句就可以了，sparkAPi指的是你要运行的路径.类名(比如com.zouzou.sparkApi，我写的主程序是sparkApi，前面的都是包名称)，–master yarn就表示是以yarn模式运行。arg[0],arg[1]之类的是程序需要的参数
- /soft/spark/bin/spark-submit –class sparkApi –master yarn sparkjob-1.0-SNAPSHOT.jar arg[0] arg[1]