Apache Flink详解：流处理与批处理的强大框架

微笑听雨。

已于 2024-06-22 16:11:39 修改

阅读量5.3k

点赞数 29

于 2024-06-18 09:50:11 首次发布

本文链接：https://blog.csdn.net/qq_38411796/article/details/139763036

版权

大数据专栏收录该内容

3 篇文章 0 订阅

订阅专栏

Apache Flink详解：流处理与批处理的强大框架

Apache Flink是一个开源的流处理框架，旨在处理大规模数据流。Flink能够处理实时流数据和批处理数据，具有高吞吐量、低延迟、容错等特性。以下是对Flink的详细介绍：

核心概念

流与批处理:

流处理 (Stream Processing): 持续不断地处理实时生成的数据流。
批处理 (Batch Processing): 处理已经收集好的静态数据集。

DataStream API:

用于处理无界和有界的数据流。
支持各种转换操作，如map、filter、keyBy、window、reduce等。

DataSet API:

用于批处理任务，已在Flink 1.12中被标记为过时，推荐使用DataStream API来统一处理流和批任务。

State和时间处理:

Flink的状态机制允许在流处理过程中存储和访问状态，支持有状态计算。
时间处理包括事件时间 (Event Time)、处理时间 (Processing Time) 和摄入时间 (Ingestion Time)，可用于窗口操作等时间相关的计算。

核心组件

JobManager:

负责协调和调度Flink任务的执行。
管理任务的生命周期和故障恢复。

TaskManager:

负责执行实际的数据流处理任务。
每个TaskManager包含多个slots，用于执行不同的任务。

Checkpointing:

Flink支持一致性检查点，用于故障恢复。
Checkpoint机制将应用状态持久化到外部存储系统，如HDFS、S3等。

Windows:

Flink支持基于时间的窗口操作，用于对数据流进行分片处理。
常见的窗口类型包括滚动窗口 (Tumbling Windows)、滑动窗口 (Sliding Windows) 和会话窗口 (Session Windows)。

部署模式

Standalone:

Flink可以以独立模式部署，适用于简单的开发和测试环境。

集群模式:

支持在各种集群管理系统上运行，如YARN、Kubernetes、Mesos等。

云部署:

Flink可以部署在AWS、Google Cloud等云平台上，利用其弹性扩展和管理功能。

应用场景

实时数据分析:

实时监控、实时推荐系统、实时风控等需要低延迟处理的应用。

ETL（Extract, Transform, Load）:

数据抽取、转换和加载，特别是需要实时处理的场景。

机器学习:

实时特征工程和模型训练。

事件驱动应用:

复杂事件处理 (CEP)，检测特定模式或事件序列。

优势与特点

高吞吐量、低延迟:

通过高效的数据处理引擎，实现高吞吐量和低延迟。

容错和一致性:

通过Checkpoint机制，保证数据处理的一致性和容错性。

灵活的时间处理:

强大的时间处理功能，支持多种时间语义和窗口操作。

动态扩展:

支持动态扩展，可以根据负载变化调整计算资源。

示例代码

在pom.xml中添加Flink相关依赖：

<dependencies>
    <!-- Spring Boot dependencies -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-actuator</artifactId>
    </dependency>

    <!-- Apache Flink dependencies -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.12</artifactId>
        <version>1.14.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-clients_2.12</artifactId>
        <version>1.14.0</version>
    </dependency>
</dependencies>

下面是一个简单的Flink流处理应用，读取数据源，进行简单的转换和输出：

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class WordCount {
    public static void main(String[] args) throws Exception {
        // 设置执行环境
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 从socket读取数据
        DataStream<String> text = env.socketTextStream("localhost", 9999);

        // 解析数据，按单词计数
        DataStream<Tuple2<String, Integer>> counts = text
            .flatMap(new Tokenizer())
            .keyBy(value -> value.f0)
            .sum(1);

        // 打印结果
        counts.print();

        // 执行任务
        env.execute("Streaming WordCount");
    }

    // 用于解析数据的函数
    public static final class Tokenizer implements FlatMapFunction<String, Tuple2<String, Integer>> {
        @Override
        public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
            for (String word : value.split("\\s")) {
                if (word.length() > 0) {
                    out.collect(new Tuple2<>(word, 1));
                }
            }
        }
    }
}