中软面试经验

1、数据实时处理  
2、什么是事件时间，摄入时间，处理时间
3、flink的数据处理语义
4、在处理的时候怎么保证不被丢失
5、批处理和流处理   实时处理
6、flink的cep
7、flink怎么处理迟到时间的
8、flink的状态清除
9、flink支持统计模型吗
10、flink怎么处理乱序事件
11、flink怎么确保数据质量和监控流
12、flink的优化
13、SQL的优化经验

---

1、数据实时处理

数据实时处理是指对数据进行即时处理和分析的过程。它的目标是实现数据的快速获取、处理、分析和响应，使得决策和操作能够更加及时和精确。

2、什么是事件时间，处理时间，摄入时间

事件时间：事件发生的时间点

处理时间：主要用于数据处理系统内部的管理和优化

摄入时间：对于数据处理系统来说具有重要的意义

3、flink的数据处理语义

        1、At-most-once 有可能会有数据丢失

        2、At-least-once 有可能重复处理数据

        3、Exactly-once 每一条消息只被流处理系统处理一次

        4、End-to-End Exactly-once 端到端的精确一次

4、在处理的时候怎么保证不被丢失

1、数据备份：在数据处理系统中，可以设置冗余备份机制，将数据存储在多个地方以防止数据丢失，如，使用分布式存储系统hadoop的hdfs，数据会被切分并复制到多个节点上，确保数据的可靠性

2、容错机制：处理系统应具备容错能力，当某个节点或部分组件出现故障时，能够自动进行故障转移或重新计算以保证数据不丢失，可以用容错技术，如备份节点，故障恢复机制和任务重试等实现

3、数据检查点：定期创建数据检查点，将数据的中间状态进行保存，当系统异常发生时，可以通过加载最近的检查点来恢复数据处理的进度，避免数据丢失

5、批处理和流处理 实时处理

流处理：流处理的一种方式，对实时流数据进行逐个处理，数据不断的产生，不断流动，并且需要使用低延迟的处理 系统实时处理和响应高吞吐量和低延迟

批处理：将数据按照一个固定的时间段或数据量进行打包处理，数据收集到一起，然后通过大规模并行处理的方式，在集群上进行计算和转换

实时处理：实时处理是一种类似于流处理的方式，但其关注重点在于数据的时效性和处理的速度，即数据的处理和响应需要非常快速，通常可以在毫秒或微秒级别完成。

6、flink的cep

CEP是一种事件处理技术，主要是发现和分析复杂事件，通常采用基于规则或模型的方法进行处理，Flink作为一个流处理框架，具有内置的CEP库，可以实现事件流的高效处理和分析

CEP的特点：他可以支持多中语言，支持复杂事件模式，如序列，时间窗口等，并且根据定义模式进行事件流的匹配和提取；可伸缩，可扩展

7、flink怎么处理迟到数据的

Flink中的watermark 和Window 机制解决了流式数据的乱序问题，对于因为延迟而顺序有误的数据，可以根据eventTime 进行业务处理，对于延迟的数据Flink 也有自己的解决办法，给他一个允许延迟的时间，在该时间范围内仍可以接受处理延迟数据

1. 设置允许延迟的时间是通过 allowedLateness(lateness: Time)

2. 设置保存延迟数据则是通过 sideOutputLateData(outputTag: OutputTag[T])保存

3. 获取延迟数据是通过 DataStream.getSideOutput(tag: OutputTag[X])获取

8、flink的状态清除

flink可以通过不同的方式清除状态，这取决于你要清除的状态类型以及清除的时机

1、作业取消或重新启动：当你取消或重新启动一个flink作业时，flink会自动清除所有与该作业相关的状态，包括键控状态和操作符状态

2、定期清理：你可以在作业中实现定期清理状态的逻辑，比如定期检查状态的时间戳，并将过期的状态从状态中删除

3、手动清除：使用flink提供的状态管理接口，可以手动清除特定的状态，比如说，对于键控状态，可以通过keyedStateBackend#getCurrentKey（）方法获取特定键的状态，然后调用ValueState#clear（）方法清除该键的状态

9、flink支持统计模型吗

支持的，Flink提供了一种高效，可扩展的数据流处理框架，可以用于构建各种类型的统计模型和分析任务，在flink中，可以使用流处理和批处理两种模式来构建模型

1、流处理模式：对于实时数据流处理，flink提供了流处理API来构建基于事件时间或处理时间的实时统计模型，我们可以使用窗口操作，聚合函数，模式检测和复杂事件处理等来实现流式的统计分析

2、批处理模式：可以用于处理静态数据集和批量数据，可以使用丰富的转换操作符和聚合函数来构建批处理的统计模型

10、flink怎么处理乱序事件

通过使用事件时间和水印机制，Flink能够有效地处理事件，并进行准确的窗口计算和数据分析