跟天齐老师学Spark（5）--使用IDEA开发Spark程序

最新推荐文章于 2022-07-05 09:57:46 发布

十光年

最新推荐文章于 2022-07-05 09:57:46 发布

阅读量712

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/xbs1019/article/details/54898143

版权

本文介绍了如何使用IntelliJ IDEA（IDEA）开发Spark程序，通过一个简单的JavaWordCount示例展示步骤。利用IDEA的快捷键和spark-submit命令提交到Spark集群运行，并探讨了在打包时如何动态指定main方法。

摘要由CSDN通过智能技术生成

使用IDEA开发spark程序:

补全的快捷键："Ctrl+Alt+v"
下面是提交spark程序到spark集群上运行的命令：

spark/bin/spark-submit \
--master spark://hadoop01:7077,spark://hadoop02:7077 \
--executor-memory 512m --total-executor-cores 7 \
--class cn.itcast.spark.WordCount \
/root/spark-1.0-SNAPSHOT.jar \
hdfs://hadoop01:9000/wc \
hdfs://hadoop01:9000/wc/out

后面会给大家介绍如何在IDEA中既可以编译java程序，又可以编译scala程序，这就需要两个插件。
其实在打包的时候，不用在pom文件制定main方法的全类名，因为我们可能会写很多的程序，
我们可以在它执行的时候，动态的告诉它调哪个main方法。

---使用java来开发一个简单spark的wordcount程序----------------------------------------------------------------

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Fla