Spark下如何运行Java版本的WordCount

最近研究了下spark，因为scala还不熟，所以先学习了java的spark程序写法，下面是我的简单测试程序的代码，大部分函数的用法已在注释里面注明。这里需要用到一个jar文件：spark-assembly-1.0.0-hadoop1.0.4.jar

WordCount代码如下：

 

手动编译运行过程：

 

导出类文件生成jar包，这里生成为JavaWordCount.jar。

然后执行下面命令，其中--class 指定主类，--master 指定spark master地址，后面是执行的jar和需要的参数。

bin/spark-submit--class org.project.modules.spark.java.WordCount

--master spark://centos.host1:7077

/home/hadoop/project/mining.jarhdfs://centos.host1:9000/user/hadoop/data/wordcount/001/word.txt

 

可以看到控制台有如下结果：