spark从入门到放弃四: worldcount-scala submit

最新推荐文章于 2021-08-02 12:18:38 发布

WQ同学

最新推荐文章于 2021-08-02 12:18:38 发布

阅读量2.9k

点赞数

分类专栏： java spark 文章标签：源码 spark

本文链接：https://blog.csdn.net/u012957549/article/details/79478686

版权

java 同时被 2 个专栏收录

129 篇文章 0 订阅

订阅专栏

spark

122 篇文章 15 订阅

订阅专栏

文章地址：http://www.haha174.top/article/details/252432
项目源码：https://github.com/haha174/spark.git
提交到spark 集群上面去运行与本地有点不同

/**
* 如果提交集群只需要修改两个地方
* 第一删除setMaster
* 第二  hadf  上面的文件
*/
  val sparkConf = new SparkConf().setAppName("WorldCount");

/**
*
* 1  将world-count.txt  上传到hdfs
* 2  maven 打包
* 3 编写提交脚本
*/

将world-count.txt 上传到hdfs 如果不会可以参考 http://www.haha174.top/article/details/254272

脚本

/spark/spark-2.2.1-bin-hadoop2.7/bin/spark-submit –class spark.core.WorldCountLocal –num-executors 3 –driver-memory 1g –executor-memory 1g –executor-cores 3 –master spark://192.168.1.221:7077 /data/spark-submit/scala/world-count-scala/spark-world-count-scala-submit-1.0-SNAPSHOT-jar-with-dependencies.jar