spark中spark-submit在yarn中执行spark程序的jar

*1、先在idea中打成jar包

1>、在打jar时，一定要把  SparkSession.master("local[2]")注释掉**

2、上传jar到linux中

3、启动spark程序

**

此命令一定要在spark安装包下执行呢

**

/spark/sbin/start-all.sh

启动完，用jps查看进程

4、启动spark历史服务器

此命令一定要在spark安装包下执行呢

/spark/sbin/start-history-server.sh 

5、使用spark-submit命令加载jar

/spark/bin/spark-submit  \
--class Test.BigSql \    //这路径直接从Scala往下写，不用后缀的.scala字样
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 4g \
--executor-cores 4 \
--queue default \
/DDWW/DW.jar   //这是我linux上放jar的位置

执行时，可以在yarn上查看进度：
yarn端口号：8088

阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道
阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道
阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道
阅读此片文章的技术控，你那不懂欢迎关注加好友，我们一起交流
一起钻研讨论打通大数据各个组件的通道