1.kafka源码编译

最新推荐文章于 2024-10-14 15:31:06 发布
最新推荐文章于 2024-10-14 15:31:06 发布
阅读量719 收藏 1
点赞数
文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010895512/article/details/118252866
版权

kafka源码编译

1.准备环境

1.java环境
检查java版本，1.8

java -version

2.scala环境
检查scala版本，2.11.8

scala -version

3.gradle环境
检查gradle版本

gradle -version

gradle各版本下载地址
gradle依赖
johnrengelman.shadow插件版本
在这里插入图片描述

4.kafka

kafka各版本下载地址

这里下载0.11.3，gradle版本也要选择低版本，4.10.2可以编译成功，5.6,6.8都编译失败
在这里插入图片描述

2.编译kafka

解压kafka-0.11.0.3-src.tgz

F:\resources>cd kafka-0.11.0.3-src
F:\resources\kafka-0.11.0.3-src>gradle idea

1.报错信息1

F:\resources\kafka-0.11.0.3-src>gradle idea

FAILURE: Build failed with an exception.

* Where:
Build file 'F:\resources\kafka-0.11.0.3-src\build.gradle' line: 140

* What went wrong:
A problem occurred evaluating root project 'kafka-0.11.0.3-src'.
> Plugin with id 'findbugs' not found.

* Try:
Run with --stacktrace option to get the stack trace. Run with --info or --debug option to get more log output. Run with --scan to get full insights.

* Get more help at https://help.gradle.org

Deprecated Gradle features were used in this build, making it incompatible with Gradle 7.0.
Use '--warning-mode all' to show the individual deprecation warnings.
See https://docs.gradle.org/6.8/userguide/command_line_interface.html#sec:command_line_warnings

BUILD FAILED in 1s

提示kafka-0.11.0.3-src目录下build.gradle的140行，findbugs有问题
当前是6.8版本，更改版本为5.6
重新gradle idea

2.报错信息2

Starting a Gradle Daemon (subsequent builds will be faster)

> Configure project :
Building project 'core' with Scala version 2.11.11

FAILURE: Build failed with an exception.

* Where:
Build file 'F:\resources\kafka-0.11.0.3-src\build.gradle' line: 504

* What went wrong:
A problem occurred evaluating root project 'kafka-0.11.0.3-src'.
> Failed to apply plugin [id 'org.scoverage']
   > Could not create an instance of type org.scoverage.ScoverageExtension.
      > You can't map a property that does not exist: propertyName=testClassesDir

* Try:
Run with --stacktrace option to get the stack trace. Run with --info or --debug option to get more log output. Run with --scan to get full insights.

* Get more help at https://help.gradle.org

Deprecated Gradle features were used in this build, making it incompatible with Gradle 6.0.
Use '--warning-mode all' to show the individual deprecation warnings.
See https://docs.gradle.org/5.6/userguide/command_line_interface.html#sec:command_line_warnings

BUILD FAILED in 25s

提示504行org.scoverage

把 build.gradle 文件29行

 classpath 'org.scoverage:gradle-scoverage:2.1.0'

2.1.0修改为2.5.0，再次执行gradle idea

3.报错信息3

> Configure project :
Building project 'core' with Scala version 2.11.11

FAILURE: Build failed with an exception.

* Where:
Build file 'F:\resources\kafka-0.11.0.3-src\build.gradle' line: 950

* What went wrong:
A problem occurred evaluating root project 'kafka-0.11.0.3-src'.
> org.gradle.api.internal.java.JavaLibrary.<init>(Lorg/gradle/api/artifacts/PublishArtifact;Lorg/gradle/api/artifacts/DependencySet;)V

* Try:
Run with --stacktrace option to get the stack trace. Run with --info or --debug option to get more log output. Run with --scan to get full insights.

* Get more help at https://help.gradle.org

Deprecated Gradle features were used in this build, making it incompatible with Gradle 6.0.
Use '--warning-mode all' to show the individual deprecation warnings.
See https://docs.gradle.org/5.6/userguide/command_line_interface.html#sec:command_line_warnings

BUILD FAILED in 6s

再次降低gradle版本，由5.6改为4.10.2，gradle-scoverage:2.5.0修改回来2.1.0
再次执行gradle idea

> Configure project :
Building project 'core' with Scala version 2.11.11

> Task :idea
Generated IDEA project at file:///F:/resources/kafka-0.11.0.3-src/kafka-0.11.0.3-src.ipr

Deprecated Gradle features were used in this build, making it incompatible with Gradle 5.0.
Use '--warning-mode all' to show the individual deprecation warnings.
See https://docs.gradle.org/4.10.2/userguide/command_line_interface.html#sec:command_line_warnings

BUILD SUCCESSFUL in 7s
21 actionable tasks: 21 executed

3.打开idea，导入kafka源码

1.File–setting里面设置gradle
在这里插入图片描述
2.File–setting–plugin,安装scala插件
在这里插入图片描述
3.File–open ,打开kafka源码目录kafka-0.11.0.3-src
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

目录说明
bin启动脚本，启停KafkaServer，创建主题等
checkstyle代码检查配置
clients生产者和消费者代码，新版java语言开发
config运行相关配置
connectKafka Connect运用用户快速定义并实现各种Connector(File,Jdbc,Hdfs等)，大批量数据导入导出方便
corekafka服务实例的代码，scala语言开发，实现了集群管理，分区副本管理，消息存储和消息获取，网络通信等功能
docs文档
examples使用生产者消费者demo
gradlegradle构建相关
streamskafka 流相关，替代storm等
tests测试脚本
tools工具类，查看生产者性能等
xcSpark
关注
【Kafka】编译 Kafka 源码并搭建源码环
石臻臻的杂货铺(szzdzhp001)
02-16 2226
搭建源码环境可以看这篇文章： 编译 Kafka 源码并搭建源码环境 上面有个地方注意,启动的时候,可以传入VM参数来指定 kafka.log.dir 路径(存放各种日志的路径) -Dkafka.logs.dir=/Users/shirenchuang/work/IdeaPj/open_source/kafka/logs 按照上面的方法搭建并成功启动了Kafka, 那么当我们想要启动集群怎么办呢？ IDEA同时启动多个Kafka 配置多个server.properties, 例如server1.pro
kafka编译
九师兄
06-06 1123
1. gradle安装 https://blog.csdn.net/qq_21383435/article/details/90942141 2. IDEA导入Kafka源码 https://blog.csdn.net/qq_21383435/article/details/90959735 3.Gradle常用命令 https://blog.csdn.net/qq_21383435/articl...
聊聊 Kafka：编译 Kafka 源码并搭建源码环境
mxy2404830的博客
12-16 933
一、前言 老周这里编译 Kafka 的版本是 2.7，为啥采用这个版本来搭建源码的阅读环境呢？因为该版本相对来说比较新。而我为啥不用 2.7 后的版本呢？比如 2.8，这是因为去掉了 ZooKeeper，还不太稳定，生产环境也不太建议使用，所以以 2.7 版本进行源码搭建并研究。 二、环境准备 JDK：1.8.0_241 Scala：2.12.8 Gradle：6.6 Zookeeper：3.4.14 三、环境搭建 3.1 JDK 环境搭建 这个就不用我说了吧
Kafka源码编译
梁海江的博客
11-24 2575
1. 环境准备 kafka源码编译需要依赖gradle与scale，所以在编译kafka源码之前需要安装配置爱gradle与scala环境。下表是各个环境安装的版本及下载地址，当然还需要jdk8,这里不做详细说明。 序号 软件 版本 下载地址 1 gradle 5.5 点击下载-gradle_5.5 2 scala 2.11.xx（2.11.12） 点击下载-scala-2.11.12 3 kafka 2.1.0 点击下载-kafka_2.1.0 2. 环境安装 这里安装按照正常
Android基于gradle task检查各个module之间资源文件冲突情况
最新发布
yundashi168.com
10-14 1198
做组件化开发的时候，我们经常会遇到各个不同的module之间资源文件冲突的问题，运行也不报错，但是会出现覆盖的问题，导致运行之后发送错误的效果。所以我们需要利用一个gradlke 脚本task，来自动化检查资源文件冲突。定义一个android gradle脚本，检查各个module之间资源文件冲突（命令重复）的task。下面是一个完整的 Gradle 脚本示例，用于检查不同模块之间的资源文件冲突。这个任务将遍历所有子模块的资源文件，并在发现同名文件时输出冲突信息。
Kafka 源码编译
Horace Ho的博客
02-25 1886
环境准备 JDK1.7 or higher（建议使用 JDK 1.8） 软件准备 scala-2.11.12.zip 下载地址：https://www.scala-lang.org/download/2.11.12.html gradle-4.8.1-bin.zip（写本文的时候gradle最新版是4.8.1） 下载地址：https://gradle.org/releases/ 下载bina...
(一)kafka实战——kafka源码编译启动
厉害哥哥的博客
03-30 2240
本节内容是关于kafka消息中间键的源码编译，并通过idea工具实现kafka服务器的启动，使用的kafka源码版本是3.6.1，由于kafka源码是通过gradle编译的，以及服务器是通过scala语言实现，我们要预先安装好gradle编译工具和scala环境，同时需要安装scala依赖的java环境jdk17。
kafka源码编译
weixin_33778544的博客
11-27 262
前言 github网站kafka项目的README.md有关于kafka源码编译的说明 github地址：https://github.com/apache/kafka 编译环境准备 java maven gradle 编译   失败原因：gradle版本太高，降低到4.8就ok了  编译（执行如下命令） 会在kafka/core/build/distributions目录下生成需要的ta...
kafka-eagle-1.4.3 .zip源码包直接build.sh编译
02-29
kafka-eagle-1.4.3 .zip源码包直接build.sh编译,安装配置参考地址https://blog.csdn.net/qq_19524879/article/details/82848797
Kafka最新源码编译过程
azhida的博客
07-09 2708
开篇 最近准备研究一下kafka的源码，最直接的就是把源码下载下来，通过debug进行研究。经过一段折腾，最终把环境给搭建好了，在这里和大家分享一下。 步骤 第1步 安装 Java 和 Gradle 安装Idea的 Scala 插件 提示： 如果你电脑上没有安装过 Gradle 或者 Scala 可以先去官网上看一下 kafka 依赖的版本，然后下载成一样的，不然在编译过程中还会现在他们依赖的版本。或者修改配置文件改变版本号 第2步 下载 Kafka 的源码 使用如下命令： $ cd {要存储Ka
kafka-0.10.0.1-src:通过IntelliJ IDEA编译过的kafka源码-源码通
03-24
编译Kafka源码的过程对于理解其工作流程至关重要。在IntelliJ IDEA中，开发者可以利用其强大的集成开发环境，设置Maven项目，导入Kafka源码，然后执行构建命令，例如`mvn clean package`，这会生成可运行的jar包。...
kafka源码解读之（一）源码编译
qq_24186017的博客
07-22 230
kafka源码版本：0.10.1 scala版本：2.10.6 java版本：1.8 gradle版本：5.x 1.将build.gradle中maven换成aliyun buildscript { repositories { // mavenCentral() maven{ url 'http://maven.aliyun.com/nexus/content/groups/public/'} jcenter() } 将dependecies中org,sco
Apache Kafka-0.8.1.1源码编译
好读书，每有会意，便欣然忘食。
12-09 1305
经过近一个月时间，终于差不多将之前在Flume 0.9.4上面编写的source、sink等插件迁移到Flume-ng 1.5.0，包括了将Flume 0.9.4上面的TailSource、TailDirSource等插件的迁移（当然，我们加入了许多新的功能，比如故障恢复、日志的断点续传、按块发送日志以及每个一定的时间轮询发送日志而不是等一个日志发送完才发送另外一个日志）。现在我们需要将Flu
kafka源码编译准备
moke的博客
12-27 1015
以我自己编译kafka为例。 gradle5.2 java8 scala2.12.12 kafka2.11.0 idea社区版 一、拉取kafka源码 找到一个空文件夹，拉取kafka源码。例D:\yh\SourceCode 打开cmd，执行如下命令： git clone https://github.com/apache/kafka.git ## 切换到kafka0.11.0分支 git checkout 0.11.0 二、安装gradle并编译kafka源码 配置gradle，新增用户变量
01-Kafka源码编译阅读环境搭建
zhengzhoudaxuewang的专栏
07-27 742
开发环境： Oracle Java 1.7.0_79 + Idea15.0.2 +Scala 2.10.4+Gradle 4.0.1 + Kafka 0.9.0.1 一、Gradle安装配置 Kafka代码自0.8.x之后就使用Gradle来进行编译和构建了，因此首先需要安装Gradle。Gradle集成并吸收了Maven主要优点的同时还克服了Maven自身的一些局限性——你可以访
kafka 源码运行环境搭建
rigete的博客
11-05 4850
apache kafka 作为一款高吞吐量，分布式的消息中间件，在越来越多的互联网公司流行起来了，为了更好地熟悉和掌握kafka的运行原理和细节，可以搭建一套本地可运行的源码环境来熟悉kafka。 1. 源码     在kafka官方网址， 下载 kafka-0.8.1.1-src.tgz 源码，解压: tar -xzvf kafka-0.8.1.1-src.tgz 2. 依
kafka源码_Kafka源码阅读之编译
weixin_39669761的博客
12-03 74
我们经常会在Java或者大数据的面试中问到Kafka的知识，我们经常的回答只知其然而不知其所以然，现在我打算写一个如何从源码的角度去回答这些知识点的一系列文章，今天先把阅读源码的环境先准备好，有兴趣的小伙伴可以关注以及讨论学习。环境准备JDK 1.8+MavenScala 2.11.8IDEA以及Scala 插件下载源码下载 github地址：https://github.com/apache/k...
Kafka -- 0.10.0.1 之 源码编译
m0_37039331的博客
01-11 1078
在源码目录下运行 gradle idea。 遇到的问题： What went wrong: A problem occurred evaluating root project ‘kafka-0.10.0.1-src’. Failed to apply plugin [class ‘org.gradle.api.plugins.scala.ScalaBasePlugin’] No such ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值