1.DataStream API-概念

1.什么是DataStream

DataStream API的名称来自特殊的DataStream类，该类用于表示Flink程序中的数据集合。可以将它想像成包含重复项的不可变数据集合。此数据集合可以是有界的，也可以是无界的，用于处理它们的API是相同的。

在用法方面，DataStream与常规Java Collection相似，但在某些关键方面有很大不同。DataStream是不可变的，一旦创建就无法添加或删除元素。只能使用DataStream API操作（transformations）对其进行处理。

2.Flink程序剖析

Flink程序看起来都包含相同的基本部分：

1. 获取执行环境
2. 加载/创建初始数据
3. 指定对数据的转换
4. 指定将计算结果放在何处
5. 触发程序执行

3.示例程序

import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.windowing.time.Time

object WindowWordCount {
  def main(args: Array[String]) {

    val env = StreamExecutionEnvironment.getExecutionEnvironment
    val text = env.socketTextStream("localhost", 9999)

    val counts = text.flatMap { _.toLowerCase.split("\\W+") filter { _.nonEmpty } }
      .map { (_, 1) }
      .keyBy(0)
      .timeWindow(Time.seconds(5))
      .sum(1)

    counts.print()

    env.execute("Window Stream WordCount")
  }
}

要运行示例程序，首先从终端使用netcat启动输入流：

nc -lk 9999

只需输入一些单词，然后按回车键即可获得一个新单词。这些单词将作为程序的输入。如果要查看计数大于1，在5秒钟内一次又一次键入相同的单词。