前言:
在日常开发过程中,难免遇到SparkStreaming和HDFS的整合的需求,这里呢以WordCount为例给大家来一个入门案例参考~
object HDFSStreaming {
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
.setAppName("HDFSStreaming")
.setMaster("local")
val ssc = new StreamingContext(conf, Seconds(2))
// val lines:DStream[String] = ssc.textFileStream("file:///E:/data/input")
val lines:DStream[String] = ssc.textFileStream("hdfs://ns1/data/spark")
val ret = lines.flatMap(_.split("\\s+")).map((_, 1)).reduceByKey(_+_)
ret.print()
ssc.start()
ssc.awaitTermination()
}
}
说明:
1、如果加载的是本地目录,必须要通过流的方式写入
2、如果监听的是hdfs中的目录,该目录中的数据可以通过
hdfs dfs -put local-path hdfs-path
hdfs dfs -cp hdfs-src hdfs-dest
但是不可以通过hdfs dfs -mv hdfs-src hdfs-dest
当然我们也可以通过流的方式写入hdfs
3、只能监听目录中的新增文件,不可以监听文件中的新增数据