59、Flink 的项目配置 Connector 和 Format 详解

连接器和格式

1.概述

Flink 应用程序可以通过连接器读取和写入各种外部系统。它支持多种格式，以便对数据进行编码和解码以匹配 Flink 的数据结构。

2.可用的组件

为了使用连接器和格式，需要确保 Flink 可以访问实现了这些功能的组件。对于 Flink 社区支持的每个连接器，在 Maven Central 发布了两类组件：

• flink-connector- 这是一个精简 JAR，仅包括连接器代码，但不包括最终的第三方依赖项；
• flink-sql-connector- 这是一个包含连接器第三方依赖项的 uber JAR；

这同样适用于格式。请注意，某些连接器可能没有相应的 flink-sql-connector- 组件，因为它们不需要第三方依赖项。

uber/fat JAR 主要与SQL 客户端一起使用，但也可以在任何 DataStream/Table 应用程序中使用它们。

3.使用组件

为了使用连接器/格式模块，可以：

• 把精简 JAR 及其传递依赖项打包进作业 JAR；
• 把 uber JAR 打包进作业 JAR；
• 把 uber JAR 直接复制到 Flink 发行版的 /lib 文件夹内；

决定是打成 uber JAR、精简 JAR 还是仅在发行版包含依赖项取决于使用场景。

如果使用 uber JAR，将对作业里的依赖项版本有更多的控制权；

如果使用精简 JAR，由于可以在不更改连接器版本的情况下更改版本（允许二进制兼容），将对传递依赖项有更多的控制权；

如果直接在 Flink 发行版的 /lib 目录里内嵌连接器 uber JAR，将能够在一处控制所有作业的连接器版本。