【极数系列】ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter & 详细分析解决

01 Flink集成Kafka Connector运行报错

报错信息如下：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/connector/base/source/reader/RecordEmitter
	at com.aurora.KafkaStreamingJob.main(KafkaStreamingJob.java:39)
Caused by: java.lang.ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter
	at java.base/jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:582)
	at java.base/jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:178)
	at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:521)
	... 1 more

02 解决方案

引入Flink连接器基础依赖

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-base</artifactId>
            <version>1.18.0</version>
        </dependency>

03 原因分析

flink-connector-base模块主要是提供连接外部系统和数据源的基础功能，为其他具体的连接器模块提供了通用的接口和类。通过使用flink-connector-base，可以方便地实现自定义的连接器，并将Flink与各种外部系统集成起来，所以需要引用DataStream API,均需要加上此依赖。

04 深入认识

4.1 flink-connector-base简介概述

flink-connector-base是Apache Flink中的一个模块，它提供了连接外部系统和数据源的基础功能。它定义了一些通用的接口和类，用于实现不同类型的连接器。

4.2 flink-connector-base功能作用

（1）数据源和数据接收器

flink-connector-base定义了SourceFunction和SinkFunction接口，用于实现自定义的数据源和数据接收器。通过实现这些接口，可以将Flink与各种外部系统集成，例如消息队列、数据库、文件系统等。

（2）连接器的配置和参数

flink-connector-base提供了一些通用的配置类，用于配置连接器的参数。这些配置类包括ConnectorConfigOption、ConfigOption、ConfigOptions等，可以方便地管理连接器的配置信息。

（3）连接器的序列化和反序列化

flink-connector-base定义了一些序列化和反序列化的工具类，用于在连接器和Flink之间进行数据的传输和转换。这些工具类包括TypeInformation、TypeSerializer、TypeSerializerSchemaCompatibility等，可以确保数据在不同系统之间的兼容性。