Spark学习笔记：基于HDFS的实时计算WordCount

基于HDFS的实时计算WordCount

基于HDFS文件的实时计算，其实就是监控一个HDFS目录，只要有新文件出现就实时处理
StreamingContext.fileStream(dataDirectory)方法可以从多种文件系统的文件中读取数据，然后创建一个DStream

package StreamingDemo

import org.apache.log4j.{Level, Logger}
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * 基于HDFS的实时WordCount
  */
object HDFSWordCount {
  def main(args: Array[String]): Unit = {
    //设置日志的级别
    Logger.getLogger("org").setLevel(Level.WARN)
    val conf=new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local[2]")
    val ssc=new StreamingContext(conf,Seconds(2))

    //从HDFS相应的目录中获取数据，创建输入DStream，监控input目录
    val inputDStream=ssc.textFileStream("hdfs://Hadoop01:9000/input")
    val wordCountDStram = inputDStream.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)

    wordCountDStram.print()

    ssc.start()
    ssc.awaitTermination()

  }
}

注意事项
1.所有放入HDFS目录中的文件，都必须有相同的格式
2.文件一旦处理之后，文件的内容即使改变，也不会再处理了
3.基于HDFS文件的数据源是没有Receiver（自定义的receiver相当于Socket套接字的客户端编程）的，因此不会占用一个cpu core