【大数据面试】Flink 04：状态编程与容错机制、Table API、SQL、Flink CEP

六、状态编程与容错机制

1、状态介绍

(1)分类

流式计算分为无状态和有状态

无状态流针对每个独立事件输出结果，有状态流需要维护一个状态，并基于多个事件输出结果(当前事件+当前状态值)

 

(2)有状态计算举例

窗口

复杂事件处理：一分钟出现两次

流与other的关联操作

2、有状态的算子

数据源source，数据存储sink都是有状态的

状态与算子相关联，有两种类型的状态：算子状态和键控状态

(1)算子状态(operator state)

为算子状态提供三种基本数据结构：列表状态(List state)、联合列表状态(Union list state)、广播状态(Broadcast state)

(2)键控状态(keyed state)

根据输入数据流中的键(key)来维护和访问，相同的key访问相同的状态

State支持的数据类型：单个值、列表值、map值、AggregatingState、ReducingState

2、状态一致性

(1)含义

成功处理故障并恢复之后得到的结果，与不产生故障的结果是否一致

(2)流处理器内部的一致性级别

主要包括at-most-once(计数结果可能丢失，无正确性保障)、at-least-once(计数结果可能大于但不会小于，可能会重复)、exactly-once(计数结果准确-依赖于检查点)

第一代流处理器Storm只保证at-least-once

Flink既保证了exactly-once，也具有低延迟和高吞吐的处理能力。

(3)流处理器之间的端到端状态一致性

结果的正确性贯穿了整个流处理应用的始终，各组件具有自身一致性；系统级别取决于所有组件中一致性最弱的组件

整个应用的一致性级别可以划分为：

内部保证(检查点)

source(可以重设数据读取位置)

sink(故障恢复时，数据不会重复写入，实现方式包含幂等写入、事务写入)

幂等写入：可执行多次，重复执行不起作用(例如转账500元)

事务写入：构建事务进行写入，checkpoint完成，才会将结果写入，事务性写入，具体又有两种实现方式：预写日志(WAL，GenericWriteAheadSink模板类)和两阶段提交(2PC，TwoPhaseCommitSinkFunction接口)

3、检查点(checkpoint)

(1)含义

重新计数的参考点

使用检查点保证exactly-once(计数结果准确)，出现故障时将系统重置回正确状态

(2)实现

记录(字符串，数值)，分别表示分组字符串(状态)和位置/偏移量

遇到检查点分界线(barrier)时，将输入流的位置异步持久化存储，从而可以从此位置重启

检查点失败，则会丢弃检查点并继续执行

4、数据管道实现精确语义

(1)组成

Flink + Kafka的数据管道系统(Kafka进、Kafka出)

 

(2)实现

内部：利用checkpoint机制，把状态存盘

source：kafka consumer作为source，可以将偏移量保存下来，故障恢复可以重置偏移量

sink：采用两阶段提交 sink，需要实现TwoPhaseCommitSinkFunction(预提交，jobmanager ack后正式提交)

5、状态后端选择

(1)分类

MemoryStateBackend：将键控状态作为内存中的对象进行管理，状态存在JVM堆上，检查点存在jobmanager内存中

FsStateBackend：检查点存在存到远程的持久化文件系统(FileSystem)上

RocksDBStateBackend：所有状态序列化后，存入本地的RocksDB中存储

RocksDB需要引入对应的依赖

(2)使用不同的状态后端

val env = StreamExecutionEnvironment.getExecutionEnvironment val checkpointPath: String = ??? val backend = new RocksDBStateBackend(<strong>checkpointPath</strong>) env.setStateBackend(backend) env.setStateBackend(new FsStateBackend("file:///tmp/checkpoints")) env.enableCheckpointing(1000) // 配置重启策略 env.setRestartStrategy(RestartStrategies.fixedDelayRestart(60, Time.of(10, TimeUnit.SECONDS)))

七、TableAPI与SQL

1、介绍

(1)介绍

Table API是流处理和批处理通用的关系型API，实现了流处理和批处理的统一

Table API和SQL是Flink中封装程度最高的API，但并不支持所有算子

(2)实现功能

内部目录catalog中注册表

注册外部catalog

执行SQL查询

注册用户定义(标量，表或聚合)函数

将DataStream或DataSet转换为表

持有对ExecutionEnvironment或StreamExecutionEnvironment的引用

2、Table API过程

(1)引入pom依赖

flink-table_2.11

(2)构造表环境

def main(args: Array[String]): Unit = {   val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment   val myKafkaConsumer: FlinkKafkaConsumer011[String] = MyKafkaUtil.getConsumer("GMALL_STARTUP")   val dstream: DataStream[String] = env.addSource(myKafkaConsumer)   val tableEnv: StreamTableEnvironment = TableEnvironment.getTableEnvironment(env)   val startupLogDstream: DataStream[StartupLog] = dstream.map{ jsonString =>JSON.parseObject(jsonString,classOf[StartupLog]) }   val startupLogTable: Table = tableEnv.fromDataStream(startupLogDstream)   val table: Table = startupLogTable.select("mid,ch").filter("ch ='appstore'")   val midchDataStream: DataStream[(String, String)] = table.toAppendStream[(String,String)]   midchDataStream.print()   env.execute() }

(3)动态表

根据样例类生成table：tableEnv.fromDataStream(startupLogDstream)

对流根据字段命名：tableEnv.fromDataStream(startupLogDstream,’mid,’uid  .......) -单引号标识

动态表按流输出：table.toAppendStream[(String,String)]

3、窗口聚合操作

(1)例子：统计每10秒中每个传感器温度值的个数

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); env.setParallelism(1); DataStreamSource<String> inputData = env.readTextFile("F:\\workspace\\flinkjavademo\\src\\main\\resources\\Sensor.txt"); DataStream<Sensor> dataStream = inputData.flatMap(new MySpliter())     .assignTimestampsAndWatermarks(new WatermarkStrategy<Sensor>() {         @Override         public WatermarkGenerator<Sensor> createWatermarkGenerator(WatermarkGeneratorSupplier.Context context) {             return new WatermarkGenerator<Sensor>() {                 private long maxTimestamp;                 private long delay = 3000; //以“timeStamp”字段为event-time时间戳开启了一个时间跨度为10秒，水位线为3秒的滚动窗口                 @Override                 public void onEvent(Sensor sensor, long l, WatermarkOutput watermarkOutput) {                     maxTimestamp = Math.max(sensor.getTimeStamp(),l);                 }                 @Override                 public void onPeriodicEmit(WatermarkOutput output) {                     output.emitWatermark(new Watermark(maxTimestamp-delay));                 }             };         }     }); EnvironmentSettings envSetting = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env, envSetting); Table table = tableEnv.fromDataStream(dataStream,$("id"),$("timeStamp").rowtime(),$("temperature")); Table filterTable = table.window(Tumble.over(lit(10).seconds()).on($("timeStamp")).as("tw"))     .groupBy($("id"),$("tw"))     .select($("id"),$("id").count().as("count")); DataStream<Tuple2<Boolean, Row>> sensorDataStream = tableEnv.toRetractStream(filterTable, Row.class); sensorDataStream.print(); env.execute("table test");

(2)group by

Group table转换为流：table.toRetractStream[(String,Long)]

api包括时间窗口，窗口的字段必须出现在groupBy中。

val resultTable: Table = dataTable     .window( Tumble over 10.seconds on 'ts as 'tw )     .groupBy('id, 'tw)     .select('id, 'id.count)

(3)时间窗口

提前声明时间字段，如果是processTime直接在创建动态表时进行追加

val dataTable: Table = tableEnv.fromDataStream(dataStream, 'id, 'temperature, 'ps.proctime)

使用Tumble over 10000.millis on 来表示滚动窗口

使用Tumble over 10.seconds on 'ts as 'tw表示滑动窗口

4、SQL编写

EnvironmentSettings envSetting = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env, envSetting); //使用流创建表 Table table = tableEnv.fromDataStream(dataStream,$("id"),$("ts").rowtime(),$("temperature")); //编写SQL完成开窗统计 Table filterTable = tableEnv.sqlQuery("select id,count(id) num from " + table + " group by id,tumble(ts, interval '10' second)"); DataStream<Tuple2<Boolean, Row>> sensorDataStream = tableEnv.toRetractStream(filterTable, Row.class); sensorDataStream.print(); env.execute("table test");

八、Flink CEP

1、介绍

Complex Event Processing，复杂事件处理

一个或多个简单事件构成的复杂事件流，得到满足规则的复杂事件。

2、Flink CEP library

Flink有专门的library支持

 

3、使用

在DataStream流上定义出模式条件，之后Flink CEP引擎进行模式检测，必要时生成告警

例子：登录检测