hudi 编译

编译hudi

1. 下载hudi

   git clone https://github.com/apache/incubator-hudi.git && cd incubator-hudi

2. 编译

   mvn clean install -DskipTests -DskipITs

   注意: 这一步有可能会报错，我在编译的时候，因为hudi源码中hudi-utilities下的pom文件中有四个依赖用maven是获取不到的.所以这里只能去下载对应的jar包，手动安装到本地Repository

3. 下载confluent

   1.点击 DOWNLOAD FREE
   2.会弹出一个界面,注意要填写邮件地址,并且勾选两个条约
   3.最后点击右侧 DOWNLOAD Version 5.3.1(版本号,我下载的是这个版本)
   4.稍等一会,压缩包便会下载好,然后解压
   5.找出4个jar包目录分别在:
   	confluent-5.3.1\share\java\confluent-control-center\kafka-avro-serializer-5.3.1.jar
   	confluent-5.3.1\share\java\confluent-control-center\kafka-schema-registry-client-5.3.1.jar
   	confluent-5.3.1\share\java\confluent-common\common-config-5.3.1.jar
   	confluent-5.3.1\share\java\confluent-common\common-utils-5.3.1.jar
   6.安装这些jar包到本地仓库(如果你的版本跟我不一样,请更改版本)
   	mvn install:install-file -DgroupId=io.confluent -DartifactId=common-config -Dversion=5.3.1 -Dpackaging=jar -Dfile=common-config-5.3.1.jar
   	mvn install:install-file -DgroupId=io.confluent -DartifactId=common-utils -Dversion=5.3.1 -Dpackaging=jar -Dfile=common-utils-5.3.1.jar
   	mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-avro-serializer -Dversion=5.3.1 -Dpackaging=jar -Dfile=kafka-avro-serializer-5.3.1.jar
   	mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=5.3.1 -Dpackaging=jar -Dfile=kafka-schema-registry-client-5.3.1.jar
   7.修改hudi-utilities下的pom
   	<!--Kafka-->
       <dependency>
         <groupId>io.confluent</groupId>
         <artifactId>kafka-avro-serializer</artifactId>
         <version>5.3.1</version>
       </dependency>
       <dependency>
         <groupId>io.confluent</groupId>
         <artifactId>common-config</artifactId>
         <version>5.3.1</version>
       </dependency>
       <dependency>
         <groupId>io.confluent</groupId>
         <artifactId>common-utils</artifactId>
         <version>5.3.1</version>
       </dependency>
       <dependency>
         <groupId>io.confluent</groupId>
         <artifactId>kafka-schema-registry-client</artifactId>
         <version>5.3.1</version>
       </dependency>
   

4. 重新编译

   mvn clean install -DskipTests -DskipITs