基于RDD的Spark应用程序开发(实现词频统计)

1、开发环境

• IDEA+MAVEN+Scala
• pom.xml

2、应用程序开发

需求：读HDFS上的a.txt文件，实现词频统计，结果写在HDFS上的b.txt。
大致思路是：在IDEA实现词频统计代码，打jar包到Linux操作系统，输入命令执行jar包实现词频统计。
这里有个问题，
我们在IDEA中写代码的时候，里面涉及到a.txt路径(读的路径)和b.txt路径(输出的路径)，如果这个路径写死的话，是不通用的，那如果将来要读HDFS上的其他文件，就需要在IDEA中改路径，重新打jar包，这显然是鸡肋！这时候我们可以想到，能不能新建一个文件，把输入和输出路径写在这个文件中，这样每次只需要改这个文件就可以了，不用再动jar包了。

步骤一：先提前写好路径，在resource(资源文件夹)创建文件夹userset.properties，写好hdfs的一个输入路径和输出路径。

loadfile:hdfs://192.168.136.20:9000/wctest/b.txt
outfile:hdfs://192.168