DataStream API(三)
今天我们来认识一下Flink中的UDF(自定义)函数。
函数类(Function Classes)
Flink暴露了所有的udf函数的接口(实现方式为接口或者抽象类)。例如:MapFunction,FilterFunction,ProcessFunction等等。
下面例子实现了FlatMapFunction接口:
DataStream<SensorBean> dataStream = inputStream.flatMap(new Splitter())
.keyBy(new getMyKey())
.min("tempareture");
public static class Splitter implements FlatMapFunction<String, SensorBean> {
@Override
public void flatMap(String sentence, Collector<SensorBean> out) throws Exception {
String[] dataArray = sentence.split(",");
out.collect(new SensorBean(dataArray[0],dataArray[1],dataArray[2]));
}
}
也可以将函数实现成匿名类:
DataStream<SensorBean> dataStream = inputStream.flatMap(new FlatMapFunction<String, SensorBean>() {
@Override
public void flatMap(String s, Collector<SensorBean> out) throws Exception {
String[] dataArray = s.split(",");
out.collect(new SensorBean(dataArray[0],dataArray[1],dataArray[2]));
}
})
.keyBy(new getMyKey())
.min("tempareture");
匿名函数(Lambda Function)
下面我们用Lambda表达式代替FilterFunction类:
DataStream<SensorBean> dataStream = inputStream.flatMap(new FlatMapFunction<String, SensorBean>() {
@Override
public void flatMap(String s, Collector<SensorBean> out) throws Exception {
String[] dataArray = s.split(",");
out.collect(new SensorBean(dataArray[0],dataArray[1],dataArray[2]));
}
})
.filter((SensorBean input)->{
return input.getId().contains("_2");
})
.keyBy(new getMyKey())
.min("tempareture");
富函数(Rich Function)
“富函数”是DataStream API提供的一类函数类的接口。所有的Flink函数都有其Rich版本。它与常规函数的不同在于,可以获取运行环境的上下文,并拥有一些生命周期方法。所以我们可以用富函数实现更复杂的功能。
Rich Function有一个生命周期的概念。典型的生命周期算法有:
- open()方法是rich function的初始化方法。在一个算子被调用之前会先执行open()方法。
- close()方法是生命周期中的最后一个调用方法,做一些清理工作。
- getRuntimeContext()方法提供了函数的RuntimeContext的一些信息,例如函数执行的并行度,任务的名字,以及state
public class MySource extends RichSourceFunction<String> {
boolean running = true;
@Override
public void open(Configuration parameters) throws Exception {
int indexOfThisSubtask = getRuntimeContext().getIndexOfThisSubtask();
//以下可以做一些初始化工作,例如建立一个和HDFS的连接
}
@Override
public void close() throws Exception {
//以下做一些清理工作,例如断开和HDFS的连接
}
@Override
public void run(SourceContext<String> sourceContext) throws Exception {
try {
BufferedReader br = new BufferedReader(new FileReader("D:\\devalop\\workSpace\\Flink\\finkjavademo\\src\\main\\resources\\templet.txt"));
String str = "";
while (running && null != (str = br.readLine())) {
sourceContext.collect(str);
Thread.sleep(1000);
}
br.close();
} catch (Exception e) {
e.printStackTrace();
}
}
@Override
public void cancel() {
running = false;
}
}