1.什么是DataStream
DataStream API的名称来自特殊的DataStream类,该类用于表示Flink程序中的数据集合。可以将它想像成包含重复项的不可变数据集合。此数据集合可以是有界的,也可以是无界的,用于处理它们的API是相同的。
在用法方面,DataStream与常规Java Collection相似,但在某些关键方面有很大不同。DataStream是不可变的,一旦创建就无法添加或删除元素。只能使用DataStream API操作(transformations)对其进行处理。
2.Flink程序剖析
Flink程序看起来都包含相同的基本部分:
- 获取执行环境
- 加载/创建初始数据
- 指定对数据的转换
- 指定将计算结果放在何处
- 触发程序执行
3.示例程序
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.windowing.time.Time
object WindowWordCount {
def main(args: Array[String]) {
val env = StreamExecutionEnvironment.getExecutionEnvironment
val text = env.socketTextStream("localhost", 9999)
val counts = text.flatMap { _.toLowerCase.split("\\W+") filter { _.nonEmpty } }
.map { (_, 1) }
.keyBy(0)
.timeWindow(Time.seconds(5))
.sum(1)
counts.print()
env.execute("Window Stream WordCount")
}
}
要运行示例程序,首先从终端使用netcat启动输入流:
nc -lk 9999
只需输入一些单词,然后按回车键即可获得一个新单词。这些单词将作为程序的输入。如果要查看计数大于1,在5秒钟内一次又一次键入相同的单词。