Flink依赖整理

已于 2022-02-18 14:35:52 修改
阅读量4.9k 收藏 22
点赞数 4
分类专栏： Flink 文章标签： flink scala kafka
于 2021-07-22 15:27:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46411309/article/details/118998395
版权
本文详细介绍了Apache Flink的Maven依赖配置，包括Flink核心、流处理与批处理、Table API与SQL、扩展依赖等，并提供了相关版本及使用场景说明，帮助开发者理解并正确构建Flink项目。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、依赖下载地址Maven Repository
https://mvnrepository.com/

二、Flink的项目依赖
2.1Flink 核心依赖
Flink 核心依赖项包含系统运行所需的类和依赖项，在启动Flink应用程序时必须存在，
不包含任何连接器或库，保证尽可能小，避免依赖项冲突。

<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-core -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-core</artifactId>
    <version>1.11.1</version>
</dependency>

<!-- alibaba开发 -->
<!-- https://mvnrepository.com/artifact/com.alibaba.blink/flink-core -->
<!--<dependency>
    <groupId>com.alibaba.blink</groupId>
    <artifactId>flink-core</artifactId>
    <version>blink-3.7.0</version>
</dependency>-->

2.2用户应用程序依赖
指程序所需的连接器，库和工具等依赖

三、流处理和批处理依赖
注意：flink-streaming-java_2.12 中2.12为scala版本

<scope>provided</scope>
//provided 表示项目打包时不将该依赖打包进去，可选值：compile 、 runtime 、system 、test

<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-java -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java_2.12</artifactId>
    <version>1.11.1</version>
    <scope>provided</scope>
</dependency>

四、Table API 和 SQL 依赖

<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-table-api-java-bridge -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-table-api-java-bridge_2.12</artifactId>
    <version>1.11.1</version>
    <scope>provided</scope>
</dependency>

4.1在ide本地运行需添加相应模块

  1. OldPlanner 计划器
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-table-planner -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-table-planner_2.11</artifactId>
    <version>1.11.1</version>
    <scope>provided</scope>
</dependency>
  1. BlinkPlanner 计划器
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-table-planner-blink -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-table-planner-blink_2.11</artifactId>
    <version>1.11.1</version>
    <scope>test</scope>
</dependency>

由于部分Table相关代码由scala实现，所以添加部分Table 相关的 Scala 依赖

<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-scala_2.11</artifactId>
    <version>1.11.1</version>
    <scope>provided</scope>
</dependency>

五、扩展依赖
5.1如自定义格式解析kafka数据，或自定义函数

 <!--Table的公共依赖-->
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-table-common -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-table-common</artifactId>
    <version>1.11.1</version>
    <scope>provided</scope>
</dependency>

5.2开发工具中测试Flink应用程序

<!--Flink客户端依赖-->
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-clients -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-clients_2.11</artifactId>
    <version>1.11.1</version>
</dependency>

5.3连接器、工具和数据库依赖

<!-- flink兼容hadoop -->
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-hadoop-compatibility -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-hadoop-compatibility_2.11</artifactId>
    <version>1.11.1</version>
    <scope>test</scope>
</dependency>


<!--Flink的kafka连接器依赖 -->
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka_2.11</artifactId>
    <version>1.11.1</version>
</dependency>

<!--处理Json数据-->
    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-json -->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-json</artifactId>
      <version>1.9.0</version>
    </dependency>

****flink-connector-…

六、总结：
总结内容仅供参考，建议修改

<!-- Apache Flink dependencies -->
    <!-- These dependencies are provided, because they should not be packaged into the JAR file. -->
    <!--Flink 核心依赖-->
   <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-core</artifactId>
      <version>1.11.1</version>
    </dependency>

    <!--流处理和批处理应用程序所需依赖-->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-streaming-java_2.11</artifactId>
      <version>1.11.1</version>
    </dependency>

    <!--Flink 的 Table API 、SQL 依赖-->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-api-java-bridge_2.11</artifactId>
      <version>1.11.1</version>
      <scope>provided</scope>
    </dependency>

    <!--计划器-->
    <!--blinkPlanner 依赖-->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-planner-blink_2.11</artifactId>
      <version>1.11.0</version>
      <scope>provided</scope>
    </dependency>
    <!--OldPlanner 依赖-->
    <!--<dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-planner_2.11</artifactId>
      <version>1.11.0</version>
      <scope>provided</scope>
    </dependency>-->

    <!--部分Table 相关的 Scala 依赖-->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-streaming-scala_2.11</artifactId>
      <version>1.11.0</version>
      <scope>provided</scope>
    </dependency>

    <!--Table的公共依赖-->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-common</artifactId>
      <version>1.11.0</version>
      <scope>provided</scope>
    </dependency>

    <!--Flink客户端依赖-->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-clients_2.11</artifactId>
      <version>1.11.1</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka -->
    <!--Flink的kafka连接器依赖 -->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-kafka_2.12</artifactId>
      <version>1.9.0</version>
    </dependency>

    <!--处理Json数据-->
    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-json -->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-json</artifactId>
      <version>1.9.0</version>
    </dependency>

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-java</artifactId>
      <version>1.11.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-cep_2.11</artifactId>
      <version>1.9.0</version>
    </dependency>

    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>5.1.34</version>
    </dependency>

  </dependencies>
Flink问题整理_wl
三石
04-16 860
1、本地启动flink报错“Caused by: java.lang.NoClassDefFoundError:org/apache/flink/streaming/api/functions/source/SourceFunction” 将flink-java和flink-streaming-java_${scala.binary.version}这两个依赖由provided改为compile ...
Flink面试整理-Flink集群的部署方式有哪些？
不务正业的猿
05-10 162
Apache Flink 支持多种集群部署方式，以适应不同的运行环境和应用需求。Flink 官方提供 Docker 镜像，可以在各种支持 Docker 的环境中运行。在 Hadoop YARN 上运行 Flink，利用 YARN 进行资源管理。每种部署方式都有其优势和局限性，选择时应根据具体的业务需求和技术环境进行权衡。Flink 自带的简单集群模式，不依赖于外部的集群管理系统。在 Apache Mesos 管理的集群上运行 Flink。集群的规模和应用的复杂性可能影响部署选择。
Flink的项目依赖
feizuiku0116的博客
01-11 2219
一、Flink核心依赖和用户的应用程序依赖 一、Flink核心依赖 Flink本身包含系统运行所需的类和依赖项，如协调、网络、检查点、故障转移、操作、资源管理等。这些类和依赖项构成执行引擎的核心，并且在启动Flink应用程序时必须存在 <!-- Flink核心依赖--> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactI
flink依赖版本选择
最新发布
risc123456的博客
03-08 590
如果你的项目是 **Scala 项目**，并且使用了 Flink 的 Scala API，则需要选择带 Scala 版本的依赖，并确保 Scala 版本一致。| **适用场景** | Scala 项目，使用 Flink 的 Scala API | Java 项目，使用 Flink 的 Java API || **特性** | **带 Scala 版本的依赖** | **不带 Scala 版本的依赖** || **兼容性** | 必须与项目的 Scala 版本一致 | 与 Scala 版本无关 |
flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey
01-22
当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) ... Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig
flink的依赖
Mary～fighting的博客
03-25 582
<dependencies> <dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.8.0&l...
Flink依赖
smile6868的博客
01-19 635
Apache Flink 是一个开源的流处理框架，用于进行高性能的、有状态的、容错的数据流处理。在 Flink 开发过程中，通常会涉及两类依赖：Flink 核心依赖和用户应用程序依赖。
mavenflink.rar flink整理的依赖包，方便实用
07-26
"Mavenflink.rar"中的内容主要是针对Flink的Maven依赖库，Maven是Java项目管理的重要工具，通过管理项目的依赖关系，使得开发者可以方便地引用所需的库。在Flink项目中，正确配置Maven的pom.xml文件至关重要，它包含...
Flink依赖包整理：mavenflink压缩包实用指南
该压缩包文件名简洁为'mavenflink'，表明其主要用途是为使用Maven构建工具的开发者提供Flink依赖包的整理，以辅助他们在项目中集成和使用Flink技术。" Apache Flink 是一个开源的流处理框架，用于进行实时数据流...
Flink 知识点整理及八股文问题＜第四部分 Flink运行时架构＞
weixin_45532984的博客
02-06 446
Flink系统架构，Flink三大组件，JobManager构成和主要作用 TaskManager构成和主要作用，Flink作业提交流程，Flink的数据流图，并行度，算子链，合并算子链，Flink 任务调度执行图，Flink 任务和任务槽 Tasks and Task Slots
flink1.14.6版本 lib目录依赖jar包
05-25
flink-connector-jdbc_2.12-1.14.6.jar、flink-doris-connector-1.14_2.12-1.1.1.jar、flink-sql-connector-mysql-cdc-2.2.1.jar、mysql-connector-java-5.1.27-bin.jar、flink-dist_2.12-1.14.6.jar、flink-faker-0.5.0.jar、flink-table_2.12-1.14.6.jar等等
flink入门单词统计
xwcj3的博客
02-05 743
pom <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http:...
Flink配置依赖
zhangshk_的博客
01-19 1万+
译自：https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/projectsetup/dependencies.html   依赖管理、连接器、库 每个Flink应用程序都依赖于一组Flink库。至少，应用程序依赖于Flink API。许多应用程序还依赖于某些连接器库（如Kafka，Cassandra等）。运行Flin...
大数据——Flink Maven工程依赖
热门推荐
Vicky_Tang
08-21 1万+
<inceptionYear>2008</inceptionYear> <properties> <scala.version>2.7.0</scala.version> <scala.version>2.12.10</scala.version> <scala.binary.version>2.12</scala.binary.version> <h...
Flink Maven 依赖
王小工小工历程
08-05 1288
定义：Apache Flink ML是Apache Flink的扩展库，提供了一套全面的机器学习（ML）API和基础设施，旨在简化机器学习管道的构建过程。开发者：Apache软件基金会编程语言：支持Python和Java，方便不同编程背景的开发者使用。
Flink所使用到maven依赖
影子
03-12 6329
Flink本身包含系统运行所需的类和依赖项，如协调、网络、检查点、故障转移、操作、资源管理等 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version>1.9.0</version> </dependency> java版本依赖： <d
Flink开发MAVEN依赖
weixin_43803793的博客
11-09 1240
<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.12.3</flink.version>
Flink配置【依赖、连接器、类库】
踏雪无痕
05-19 1130
一.简介 每个 Flink 应用都需要依赖一组 Flink 类库。Flink 应用至少需要依赖 Flink APIs。许多应用还会额外依赖连接器类库(比如 Kafka、Cassandra 等)。 当用户运行 Flink 应用时(无论是在 IDE 环境下进行测试，还是部署在分布式环境下)，运行时类库都必须可用。 二.Flink 核心依赖以及应用依赖 与其他运行用户自定义应用的大多数系统一样，Flink 中有两大类依赖类库： Flink 核心依赖：Flink 本身包含运行所需的一组类和依赖，比如协调、网络通讯
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值