flink学习与回顾

案例与讲解

• 官网很实用的学习案例

欺诈检测练习

1. 官方案例：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/try-flink/datastream/
2. 相关内容博客：https://blog.csdn.net/weixin_45417821/article/details/124246274
3. 关键内容：基本案例，按key分区，定时器，状态。
4. 水位线相关（生成、使用）不理解。
5. 水位线、窗口相关（内容很多很专业，值得认真读）：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/learn-flink/streaming_analytics/

官方实践练习1

1. https://github.com/apache/flink-training/tree/release-1.13/ride-cleansing
2. 关键内容：过滤（FilterFunction）、job解耦启动（感觉不如基本案例简洁）。
3. 相关内容：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/learn-flink/etl/
4. 相关内容简介：对官方案例的进阶案例，学习Map操作。这里的flatMap用法比较小众，为了练习硬要使用。随便看下吧。

官方实践练习2

1. https://github.com/apache/flink-training/tree/release-1.13/rides-and-fares
2. 相关博客：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/learn-flink/etl/
3. 关键内容：connect、keyby。
4. 怎么按id连接没看懂。keyBy(id)后连接？就必定是同一个id吗？
5. 解答：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/learn-flink/etl/

官方实践练习3

1. https://github.com/apache/flink-training/tree/release-1.13/hourly-tips
2. 相关博客：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/learn-flink/streaming_analytics/
3. 关键内容：水位线、窗口、keyBy、最大值。

官方实践练习4

1. https://github.com/apache/flink-training/tree/release-1.13/long-ride-alerts
2. 相关博客：https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/learn-flink/event_driven/
3. 关键内容：状态。
4. “欺诈检测”练习的简化版本。

由于做练习之前没看相关介绍文档，一个也没做出来，复习时做一下。

1. 欺诈检测练习（有状态流处理）

   • 使用的算子:addsource();keyBy();process();KeyedProcessFunction类
   • 简述：首先使用keyBy算子按key分区。process()中新建类继承KeyedProcessFunction。定义两个成员变量：flagState，timerState，并在open()方法中初始化一下。processElement()方法中：当前transaction金额 大于400&&flagState！=null（代表上次金额小）&&timerState！=null（代表没有超时），输出结果并清空状态；当前transaction金额小于1时，创建定时器，flagState，timerState设为true。onTime()方法中：定时器到时间就清空两个状态。
   • 有状态流处理、分区、状态、定时器。

2. 官方案例1 过滤

   • 使用的算子：filter()
   • 简述：使用filter()算子进行过滤处理，创建类继承FilterFunction。重写filter()方法，每条数据都会经过这个方法。返回true，数据通过；返回false，数据被筛掉。根据逻辑返回即可。
   • filter

3. 官方案例2 数据流连接

   • 使用算子：keyBy() connect() flatMap()
   • 简述：首先对两个流进行keyBy()操作，然后 流1.connect(流2).flatMap()。flatMap()中新建类继承RichCoFlatMapFunction。这里两个流都进行过keyBy，进入flatMap的两个流的数据key是相同的，所以要解决的问题就是两个流到达先后的问题。使用状态存储先到的流即可。
   • keyBy()、connect()、flatMap()、数据流连接

4. 官方案例3 按小时分组+求最大值

   • keyBy window max
   • 简述：keyBy()按driverId分区。window()按1小时滚动开窗，之后process()中创建类继承ProcessWindowFunction。对每个window所有数据的金额进行加法处理，返回（窗口结束时间，driverId，最大值）。求最大值这里又使用了windowAll()算子与maxBy算子，这里还不了解。

5. 官方案例4

   • keyBy process 状态
   • 简述：keyBy之后process。如果是 出租开始记录，开一个定时器，状态存储数据，如果是结束，删除定时器。定时器到时间：将状态存储的数据输出。