Kafka-connect-elasticsearch编译方法

Kafka-connect-elasticsearch编译方法

前期准备

kafka-connect-elasticsearch依赖parent项目（common），而common又依赖kafka相关包，因此，编译的时候顺序是：先编译kafka、再编译common、最后编译connect。

• 1.下载并安装gradle和scala（编译kafka的工具）
  • gradle ：在windows系统中按照文档下载安装，然后设置环境变量
  • scala：在windows系统中直接下载msi镜像，点击安装，然后设置环境变量
  • 检查安装是否成功： gradle -version 和 scala -version
• 2.从github下载kafka源码，这是kafka是confluent的镜像仓库（注意要使用confluent版本，不能使用apache版本的）
• 3.从github下载common源码，这是common仓库
• 4.从github下载kafka-elasticsearcg-connect源码，这是connect仓库

开始编译

• 1.设置各版本号，使其保持一致（重要，否则编译出错）

//1. 在kafka的gradle.properties文件中
version=5.4.0-ccs-SNAPSHOT
scalaVersion=2.11.12

//2. 在common的pom文件中
<kafka.scala.version>2.11</kafka.scala.version>
<kafka.version>5.4.0-ccs-SNAPSHOT</kafka.version>

• 2.编译kafka，并push到本地maven仓库中

//构建jar包，在目录 core/build查看
.\gradlew.bat jar

//清楚目录 core/build的文件
.\gradlew.bat clean

//构建并推到本地maven仓库中
.\gradlew.bat install

• 3.编译common，并推到maven仓库

//在common的主目录下
mvn clean install -DskipTests

• 4.编译kafka-elasticsearcg-connect

//在主目录下
mvn clean package -DskipTests

方法二

在测试过程中，发现编译kafka的时候失败率太高。于是不打算自己编译，而是直接下载官方依赖。只需要修改kafka的版本，maven即可自动下载。

//1. 在kafka的gradle.properties文件中
version=2.3.0
scalaVersion=2.11.12

//2. 在common的pom文件中
<kafka.scala.version>2.11</kafka.scala.version>
<kafka.version>2.3.0</kafka.version>