Spark上提交运行简单WordCount程序---Spark学习笔记(1)

最新推荐文章于 2022-06-20 19:21:49 发布

miaote

最新推荐文章于 2022-06-20 19:21:49 发布

阅读量1.2k

点赞数

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/miaote/article/details/53214954

版权

本文介绍了如何在IDE中使用Spark API编写Scala的WordCount程序，并通过spark-submit进行提交运行。详细解释了Spark的RDD原理，以及spark-submit的参数设置，如--class、--master选项。提到了Spark运行模式的选择，如local、spark://HOST:PORT、mesos和yarn，并分享了学习Spark过程中的经验与资源。

摘要由CSDN通过智能技术生成

其实这个时候应该继续学习hadoop的，但是猛然发现目前的需求是spark，不过spark可以基于hadoop运行。
目前使用的spark版本是:spark-1.6.2-bin-hadoop2.6
运行Spark简单程序的思路是现在IDE上导入spark API包并写好scala程序，然后像写Hadoop MapReduce程序一样，导出做成jar包，接下来用spark-submit提交jar包，就可以运行了。

WordCount程序
结合官网上的示例，我们先分析一下WordCount程序：

object SparkWordCount {
    //设置输入文件位置，spark读取文件是在SPARK_HOME 下读取的
    val filePath="test.text"     
    //设置spark配置信息
    val conf=new SparkConf().setAppName("WordCount")
    val sparkContext=new SparkContext(conf)
    //sparkContext返回一个RDD[String]，cache()过程是将这个返回的RDD缓存下来
    val