WordCount 的两种实现（批处理和流处理 ）

1. 批处理（可运行）

object WordCount {
  def main(args: Array[String]): Unit = {
    //创建执行环境
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment

    //读取文件数据
    val inputPath: String = "D:\\WorkSpace\\MyWorld\\FlinkTutorial\\src\\main\\resources\\hello.txt"
    val inputDataSet: DataSet[String] = env.readTextFile(inputPath)

    //计算单词出现次数
    val resultDataSet: AggregateDataSet[(String, Int)] = inputDataSet
      .flatMap(_.split(" "))
      .map((_, 1))
      .groupBy(0)
      .sum(1)

    //打印输出
    resultDataSet.print()
  }
}

 

2. 流处理（可运行）

object StreamWordCount {
  def main(args: Array[String]): Unit = {

    //创建流处理执行环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

    //设置环境属性
    env.setParallelism(4)

    //从外部命令读取参数(--host hadoop1006 --port 7777)
    val paramTool: ParameterTool = ParameterTool.fromArgs(args)
    val host: String = paramTool.get("host")
    val port: Int = paramTool.getInt("port")

    //接收socket文本流
    val inputDataStream: DataStream[String] = env.socketTextStream(host, port)

    //流式计算单词出现次数
    val resultDataStream: DataStream[(String, Int)] = inputDataStream
      .flatMap(_.split(" "))
      .map((_, 1))
      .keyBy(0)
      .sum(1)
    
    //打印输出
    resultDataStream.print()

    // 启动任务执行
    env.execute("stream word count")
  }
}

 

3. 方法解释

① getExecutionEnvironment : 会根据查询运行的方式决定返回什么样的运行环境

createLocalEnvironment ：本地执行环境
createRemoteEnvironment：集群执行环境

② readTextFile : 读取文本文件

fromElement ：读取数据本身
fromElementCollection ：读取数据集合

 

③ ParameterTool: Flink基础工具读取配置信息，内部是一个Map结构

fromArgs ：从命令行参数中获取
fromPropertiesFile ：从配置文件中获取
fromSystemProperties ：从系统属性中获取

详细内容 => Flink最佳实践 - 简书  https://www.jianshu.com/p/a71b0ed7ef15

 

④ socketTextStream: 创建一个输入流从源主机名: 端口。使用TCP套接字接收数据。接收socket文本流

 

⑤ execute : 内部调用抽象方法execute，启动任务执行。若无，则直接运行结束任务。

 

4. 重点逻辑分析

① flatMap : 先映射后扁平化

     map: 映射

 

② 核心代码

val resultDataStream: DataStream[(String, Int)] = inputDataStream
      .flatMap(_.split(" "))
      .map((_, 1))
      .keyBy(0)
      .sum(1)

 

③ 逻辑处理流程图：