flink state 理解

两种state：operatorState keyedState
1.operatorState只提供了ListState
2.keyedState提供了ValueState,ListState,ReducingState,MapState

operatorStateStore的默认实现只有DefaultOperatorStateBackend可以看到他的状态都是存储在堆内存之中，
而keyedState根据backend配置的不同，线上都是存储在rocksdb之中

Kafka速度的秘诀在于，它把所有的消息都变成一个批量的文件，并且进行合理的批量压缩，减少网络IO损耗，
通过mmap提高I/O速度，写入数据的时候由于单个Partion是末尾添加所以速度最优；读取数据的时候配合sendfile直接暴力输出。

AggregateFunction
Flink 的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数。
由于是迭代计算方式，所以，在窗口处理过程中，不用缓存整个窗口的数据，所以效率执行比较高。

ACC createAccumulator(); 迭代状态的初始值
ACC add(IN value, ACC accumulator); 每一条输入数据，和迭代数据如何迭代
ACC merge(ACC a, ACC b); 多个分区的迭代数据如何合并
OUT getResult(ACC accumulator); 返回数据，对最终的迭代数据如何处理，并返回结果

du -h --max-depth=1

ValueState：这保留了一个可以更新和检索的值（如上所述，作用于输入元素的key的范围，因此运算看到的每个key可能有一个值）。
可以使用update(T)设置该值，并使用T value()检索该值。

ListState：保留的元素列表。您可以追加元素并在所有当前存储的元素上检索Iterable。
使用add(T)或addAll(List)添加元素，可以使用Iterable get()检索Iterable。您还可以使用update(List)重写现有的list。

ReducingState：保留一个值，表示添加到状态的所有值的聚合。该接口类似于ListState，
不过是使用add(T)添加的元素，reduced一个聚合是使用特定的ReduceFunction。

AggregatingState<IN, OUT>：保留一个值表示添加到状态的所有值的聚合。与ReducingState相反，
聚合类型可能与添加到状态的元素类型不同。接口与ListState相同，不过是使用add(T)添加的元素，reduced一个聚合是使用特定的AggregateFunction。