状态编程是Flink最出色的功能没有之一
一、什么是状态?
在流式计算中有些操作一次处理一个独立的事件(比如解析一个事件), 有些操作却需要记住多个事件的信息(比如窗口操作).
那些需要记住多个事件信息的操作就是有状态的.
流式计算分为无状态计算和有状态计算两种情况
无状态计算:无状态的计算观察每个独立事件,并根据最后一个事件输出结果。例如,流处理应用程序从传感器接收水位数据,并在水位超过指定高度时发出警告
有状态计算:有状态的计算则会基于多个事件输出结果。以下是一些例子。例如,计算过去一小时的平均水位,就是有状态的计算。所有用于复杂事件处理的状态机。
二、需要状态的场景:
去重
数据流中的数据有重复,我们想对重复数据去重,需要记录哪些数据已经流入过应用,当新数据流入时,根据已流入过的数据来判断去重。
检测
检查输入流是否符合某个特定的模式,需要将之前流入的元素以状态的形式缓存下来。比如,判断一个温度传感器数据流中的温度是否在持续上升。
聚合
对一个时间窗口内的数据进行聚合分析,分析一个小时内水位的情况
更新机器学习模型
在线机器学习场景下,需要根据新流入数据不断更新机器学习的模型参数。
三、Flink的Failover(故障转移机制)
Job 的重启:每次运行,默认都是新的Job,没法实现
Task的重启:
有个算子在某个Task,这个Task抛出了异常,Flink可以采取failover(故障转移机制)
重新找插槽,重新运行Task 可以实现,但不能保存原有状态
注意:Flink默认开启了故障时不重启策略,我们使用故障转移机制时需要将其关闭,不然会出现如下报错
Recovery is suppressed by NoRestartBackoffTimeStrategy
设置故障转移机制
//设置故障转移,第一个参数最多重试重启次数,第二个参数两次重启次数的时间间隔
env.setRestartStrategy(RestartStrategies.fixedDelayRestart(3,2000));
代码实现
package net.cyan.state;
import net.cyan.POJO.WaterSensor;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.restartstrategy.RestartStrategies;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.sink.SinkFunction;
import org.apache.flink.streaming.connectors.redis.RedisSink;
import java.util.ArrayList;
import java.util.List;
/**
把收到的每个字符串都存到一个list集合
并且希望达到当程序挂掉时,状态可以自动恢复
Job 的重启:每次运行,默认都是新的Job,没法实现
Task的重启:
有个算子在某个Task,这个Task抛出了异常,Flink可以采取failover(故障转移机制)
重新找插槽,重新运行Task 可以实现
*/
public class Demo1_test {
public static void main(String[] args) {
//创建执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();