SparkStreaming和HDFS的整合代码实现

前言：
在日常开发过程中，难免遇到SparkStreaming和HDFS的整合的需求，这里呢以WordCount为例给大家来一个入门案例参考~

object HDFSStreaming {
    def main(args: Array[String]): Unit = {

        val conf = new SparkConf()
                    .setAppName("HDFSStreaming")
                    .setMaster("local")
        val ssc = new StreamingContext(conf, Seconds(2))

//        val lines:DStream[String] = ssc.textFileStream("file:///E:/data/input")
        val lines:DStream[String] = ssc.textFileStream("hdfs://ns1/data/spark")

        val ret = lines.flatMap(_.split("\\s+")).map((_, 1)).reduceByKey(_+_)

        ret.print()

        ssc.start()
        ssc.awaitTermination()
    }
}

说明：

1、如果加载的是本地目录，必须要通过流的方式写入
2、如果监听的是hdfs中的目录，该目录中的数据可以通过
hdfs dfs -put local-path hdfs-path
hdfs dfs -cp hdfs-src hdfs-dest
但是不可以通过hdfs dfs -mv hdfs-src hdfs-dest
当然我们也可以通过流的方式写入hdfs
3、只能监听目录中的新增文件，不可以监听文件中的新增数据