Kafka-connect-elasticsearch编译方法
前期准备
kafka-connect-elasticsearch依赖parent项目(common),而common又依赖kafka相关包,因此,编译的时候顺序是:先编译kafka、再编译common、最后编译connect。
- 1.下载并安装gradle和scala(编译kafka的工具)
- 2.从github下载kafka源码,这是kafka是confluent的镜像仓库(注意要使用confluent版本,不能使用apache版本的)
- 3.从github下载common源码,这是common仓库
- 4.从github下载kafka-elasticsearcg-connect源码,这是connect仓库
开始编译
- 1.设置各版本号,使其保持一致(重要,否则编译出错)
//1. 在kafka的gradle.properties文件中
version=5.4.0-ccs-SNAPSHOT
scalaVersion=2.11.12
//2. 在common的pom文件中
<kafka.scala.version>2.11</kafka.scala.version>
<kafka.version>5.4.0-ccs-SNAPSHOT</kafka.version>
- 2.编译kafka,并push到本地maven仓库中
//构建jar包,在目录 core/build查看
.\gradlew.bat jar
//清楚目录 core/build的文件
.\gradlew.bat clean
//构建并推到本地maven仓库中
.\gradlew.bat install
- 3.编译common,并推到maven仓库
//在common的主目录下
mvn clean install -DskipTests
- 4.编译kafka-elasticsearcg-connect
//在主目录下
mvn clean package -DskipTests
方法二
在测试过程中,发现编译kafka的时候失败率太高。于是不打算自己编译,而是直接下载官方依赖。只需要修改kafka的版本,maven即可自动下载。
//1. 在kafka的gradle.properties文件中
version=2.3.0
scalaVersion=2.11.12
//2. 在common的pom文件中
<kafka.scala.version>2.11</kafka.scala.version>
<kafka.version>2.3.0</kafka.version>