Streaming Connectors
预定义的Source和Sink
- 基于文件的Source
- readTextFile(path)
- readFile(fileInputFormat,path)
- 基于文件的Sink
- writeAsText
- writeAsCsv
- 基于Socket
- socketTextStream
- 基于Socket的Sink
- writeToSocket
- 基于Collections、Iterators
- fromCollection、fromElements
- 标准输出、标准错误
- Print、printToError
一个SocketWindowWordCount的例子
public class SocketWindowWordCount {
public static void main(String[] args) throws Exception {
// 用final修饰符定义端口号,表示不可变
final int port;
try {
final ParameterTool params = ParameterTool.fromArgs(args);
port = params.getInt("port");
} catch (Exception e) {
System.err.println("No port specified. Please run 'SocketWindowWordCount --port <port>'");
return;
}
// (1)获取执行环境
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// (2)获取数据流,例子中是从指定端口的socket中获取用户输入的文本
DataStream<String> text = env.socketTextStream("localhost", port, "\n");
// (3)transformation操作,对数据流实现算法
DataStream<WordWithCount> windowCounts = text
//将用户输入的文本流以非空白符的方式拆开来,得到单个的单词,存入命名为out的Collector中
.flatMap(new FlatMapFunction<String, WordWithCount>() {
public void flatMap(String value, Collector<WordWithCount> out) {
for (String word : value.split("\\s")) {
out.collect(new WordWithCount(word, 1L));
}
}
})
//将输入的文本分为不相交的分区,每个分区包含的都是具有相同key的元素。也就是说,相同的单词被分在了同一个区域,下一步的reduce就是统计分区中的个数
.keyBy("word")
//滑动窗口机制,每1秒计算一次最近5秒
.timeWindow(Time.seconds(5), Time.seconds(1))
//一个在KeyedDataStream上“滚动”进行的r