数据管道&ETL

无状态的转换

• map() 一对一转换
• flatmap()可以输出任意数量的元素，也可以一个都不发

Keyed Streams

• keyBy()根据特定的键分区，会有shuffle，设计网络通信、序列化和反序列化
• maxBy涉及到聚合，就要考虑状态

有状态的转换

flink状态的特性

• 本地性: Flink 状态是存储在使用它的机器本地的，并且可以以内存访问速度来获取
• 持久性: Flink 状态是容错的，例如，它可以自动按一定的时间间隔产生 checkpoint，并且在任务失败后进行恢复
• 纵向可扩展性: Flink 状态可以存储在集成的 RocksDB 实例中，这种方式下可以通过增加本地磁盘来扩展空间
• 横向可扩展性: Flink 状态可以随着集群的扩缩容重新分布
• 可查询性: Flink 状态可以通过使用 状态查询 API 从外部进行查询。

Rich Functions

对于flink的几种函数接口，例如FilterFunction， MapFunction，和 FlatMapFunction。flink为每个接口提供了一个'rich'变体，其中增加了以下三个方法
open(Configuration c) 仅在算子初始化的时候调用一次，用来加载一些静态数据，建立外部服务的链接等
close() 
getRuntimeContext()
我的理解就是通过新增加的方法来丰富对于算子的功能，做一些定制化扩充

使用状态和清理状态

使用状态：状态写入->状态读取，要理解这个代表的不仅仅是一个单独的布尔类型变量，而是一个分布式的共享键值存储

/*状态写入*/
public static class Deduplicator extends RichFlatMapFunction<Event, Event> {
    ValueState<Boolean> keyHasBeenSeen;

    @Override
    public void open(Configuration conf) {
        ValueStateDescriptor<Boolean> desc = new ValueStateDescriptor<>("keyHasBeenSeen", Types.BOOLEAN);
        keyHasBeenSeen = getRuntimeContext().getState(desc);
    }

    @Override
    public void flatMap(Event event, Collector<Event> out) throws Exception {
        if (keyHasBeenSeen.value() == null) {
            out.collect(event);
            keyHasBeenSeen.update(true);
        }
    }
}

/*状态读取*/
private static class Event {
    public final String key;
    public final long timestamp;
    ...
}

public static void main(String[] args) throws Exception {
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
  
    env.addSource(new EventSource())
        .keyBy(e -> e.key)
        .flatMap(new Deduplicator())
        .print();
  
    env.execute();
}

状态清理

keyHasBeenSeen.clear()

Connected Streams

控制流实现单词过滤功能,可以看出两个流共享状态blocked，control流去修改状态，data流去读取状态作过滤

/*控制流和数据流关联*/
public static void main(String[] args) throws Exception {
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

    DataStream<String> control = env
        .fromElements("DROP", "IGNORE")
        .keyBy(x -> x);

    DataStream<String> streamOfWords = env
        .fromElements("Apache", "DROP", "Flink", "IGNORE")
        .keyBy(x -> x);
  
    control
        .connect(streamOfWords)
        .flatMap(new ControlFunction())
        .print();

    env.execute();
}

/*ControlFunction() Rich API*/
public static class ControlFunction extends RichCoFlatMapFunction<String, String, String> {
    private ValueState<Boolean> blocked;
      
    @Override
    public void open(Configuration config) {
        blocked = getRuntimeContext()
            .getState(new ValueStateDescriptor<>("blocked", Boolean.class));
    }
      
    @Override
    public void flatMap1(String control_value, Collector<String> out) throws Exception {
        blocked.update(Boolean.TRUE);
    }
      
    @Override
    public void flatMap2(String data_value, Collector<String> out) throws Exception {
        if (blocked.value() == null) {
            out.collect(data_value);
        }
    }
}