DataStream API（三）

DataStream API（三）

今天我们来认识一下Flink中的UDF（自定义）函数。

函数类（Function Classes）

Flink暴露了所有的udf函数的接口（实现方式为接口或者抽象类）。例如：MapFunction，FilterFunction，ProcessFunction等等。

下面例子实现了FlatMapFunction接口：

DataStream<SensorBean> dataStream = inputStream.flatMap(new Splitter())
    .keyBy(new getMyKey())
    .min("tempareture");

public static class Splitter implements FlatMapFunction<String, SensorBean> {
    @Override
    public void flatMap(String sentence, Collector<SensorBean> out) throws Exception {
        String[] dataArray = sentence.split(",");
        out.collect(new SensorBean(dataArray[0],dataArray[1],dataArray[2]));
    }
}

也可以将函数实现成匿名类：

DataStream<SensorBean> dataStream = inputStream.flatMap(new FlatMapFunction<String, SensorBean>() {
    @Override
    public void flatMap(String s, Collector<SensorBean> out) throws Exception {
        String[] dataArray = s.split(",");
        out.collect(new SensorBean(dataArray[0],dataArray[1],dataArray[2]));
    }
})
.keyBy(new getMyKey())
.min("tempareture");

匿名函数（Lambda Function）

下面我们用Lambda表达式代替FilterFunction类：

DataStream<SensorBean> dataStream = inputStream.flatMap(new FlatMapFunction<String, SensorBean>() {
    @Override
    public void flatMap(String s, Collector<SensorBean> out) throws Exception {
        String[] dataArray = s.split(",");
        out.collect(new SensorBean(dataArray[0],dataArray[1],dataArray[2]));
    }
})
    .filter((SensorBean input)->{
        return input.getId().contains("_2");
    })
    .keyBy(new getMyKey())
    .min("tempareture");

富函数（Rich Function）

“富函数”是DataStream API提供的一类函数类的接口。所有的Flink函数都有其Rich版本。它与常规函数的不同在于，可以获取运行环境的上下文，并拥有一些生命周期方法。所以我们可以用富函数实现更复杂的功能。

Rich Function有一个生命周期的概念。典型的生命周期算法有：

• open()方法是rich function的初始化方法。在一个算子被调用之前会先执行open()方法。
• close()方法是生命周期中的最后一个调用方法，做一些清理工作。
• getRuntimeContext()方法提供了函数的RuntimeContext的一些信息，例如函数执行的并行度，任务的名字，以及state

public class MySource extends RichSourceFunction<String> {
    boolean running = true;

    @Override
    public void open(Configuration parameters) throws Exception {
        int indexOfThisSubtask = getRuntimeContext().getIndexOfThisSubtask();
        //以下可以做一些初始化工作，例如建立一个和HDFS的连接
    }

    @Override
    public void close() throws Exception {
        //以下做一些清理工作，例如断开和HDFS的连接
    }

    @Override
    public void run(SourceContext<String> sourceContext) throws Exception {
        try {
            BufferedReader br = new BufferedReader(new FileReader("D:\\devalop\\workSpace\\Flink\\finkjavademo\\src\\main\\resources\\templet.txt"));
            String str = "";
            while (running && null != (str = br.readLine())) {
                sourceContext.collect(str);
                Thread.sleep(1000);
            }
            br.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    @Override
    public void cancel() {
        running = false;
    }
}