搭建Kafka源码环境并测试

已于 2024-05-05 15:39:55 修改
阅读量1.4k 收藏 13
点赞数 8
分类专栏： # Kafka源码 文章标签： java 开发语言
于 2024-05-01 23:32:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44036439/article/details/138382529
版权

文章目录

一、前言

参考的博客是用的是 Kafka 2.7 版本的，于是我这里也采用 2.7 版本，理由是这个版本还保存着 zookeeper，生产环境比较稳定

二、环境准备

  • JDK：1.8.0_241
  • Scala：2.12.8
  • Gradle：6.6
  • Zookeeper：3.4.14

三、环境搭建

3.1 JDK 环境搭建

直接使用本地环境

3.2 Scala 环境搭建

下载链接：Scala 2.12.8 | The Scala Programming Language (scala-lang.org)

3.2.1 配置 Scala 环境变量

vim ~/.bash_profile

# 安装的路径
export SCALA_HOME=/Users/gabriel/Environment/scala-2.12.8
export PATH=$PATH:$SCALA_HOME/bin

source ~/.bash_profile

3.2.2 验证

输入 scala -version 看到提示则成功

3.3 Gradle 环境搭建

下载链接：Gradle Distributions

下载版本为 gradle-6.6-bin

3.3.1 配置 Gradle 环境变量

vim ~/.bash_profile

# 安装的路径
export GRADLE_HOME=/Users/gabriel/Environment/gradle-6.6
export PATH=$PATH:$GRADLE_HOME/bin

source ~/.bash_profile

3.3.2 验证

输入 gradle -version 看到提示则成功

3.4 Zookeeper 环境搭建

下载链接：Index of /dist/zookeeper/zookeeper-3.4.14 (apache.org)

3.4.1 配置 Zookeeper 环境变量

vim ~/.bash_profile

# 安装的路径
export ZK_HOME=/Users/gabriel/Environment/zookeeper-3.4.14
export PATH=$PATH:$ZK_HOME/bin

source ~/.bash_profile

创建 data 文件夹用于存放日志数据，并在 cfg 文件中指定

cd zookeeper-3.4.14
mkdir data

cd conf
mv zoo_sample.cfg zoo.cfg
# 修改 zoo.cfg 内的配置
dataDir=/Users/gabriel/Environment/zookeeper-3.4.14/data

3.4.2 验证

sh zkServer.sh start

输出提示则成功

3.5 Kafka 源码搭建

下载链接：Apache Kafka

这里选择了 2.7.0 版本

3.5.1 导入 Kafka 源码至 IDEA

Setting 里面需要配置 Gradle Home 为本地地址 /Users/gabriel/Environment/gradle-6.6

3.5.2 修改 build.gradle 配置

这里是我第一次使用 gradle 构建项目，基本原理和 maven 差不多，刚好学习一下

需要把镜像文件下载服务器更换为国内的私服，否则会相当慢，直接导致 “time out” 报错。

进入 kafka 源码包，修改 build.gradle 文件，在原来配置上，添加 ali 私服配置。

buildscript {
    repositories {
      maven {
        url 'https://maven.aliyun.com/nexus/content/groups/public/'
      }
      maven {
        url 'https://maven.aliyun.com/nexus/content/repositories/jcenter'
      }
      // 插件下载地址
      maven {
        url 'https://maven.aliyun.com/repository/gradle-plugin'
      }
  }
}
 
allprojects {
    repositories {
      maven {
        url 'https://maven.aliyun.com/nexus/content/groups/public/'
      }
      maven {
        url 'https://maven.aliyun.com/nexus/content/repositories/jcenter'
      }
      // 插件下载地址
      maven {
        url 'https://maven.aliyun.com/repository/gradle-plugin'
      }
  }
}

Bug 1:

疯狂报错如下，好像是 gradle 的插件找不到，从对应的阿里云地址也下载不下来

解决方案：在上面配置 maven 下载地址的地方加上专门的插件下载地址

A problem occurred configuring root project 'kafka-2.7.0-src'.
> Could not resolve all artifacts for configuration ':classpath'.
   > Could not find gradle.plugin.com.github.spotbugs.snom:spotbugs-gradle-plugin:4.4.4.
     Searched in the following locations:
       - https://maven.aliyun.com/nexus/content/groups/public/gradle/plugin/com/github/spotbugs/snom/spotbugs-gradle-plugin/4.4.4/spotbugs-gradle-plugin-4.4.4.pom
       - https://maven.aliyun.com/nexus/content/repositories/jcenter/gradle/plugin/com/github/spotbugs/snom/spotbugs-gradle-plugin/4.4.4/spotbugs-gradle-plugin-4.4.4.pom
       - https://dl.bintray.com/content/netflixoss/external-gradle-plugins/gradle/plugin/com/github/spotbugs/snom/spotbugs-gradle-plugin/4.4.4/spotbugs-gradle-plugin-4.4.4.pom
     Required by:
         project :
   > Could not find org.gradle:test-retry-gradle-plugin:1.1.6.
     Searched in the following locations:
       - https://maven.aliyun.com/nexus/content/groups/public/org/gradle/test-retry-gradle-plugin/1.1.6/test-retry-gradle-plugin-1.1.6.pom
       - https://maven.aliyun.com/nexus/content/repositories/jcenter/org/gradle/test-retry-gradle-plugin/1.1.6/test-retry-gradle-plugin-1.1.6.pom
       - https://dl.bintray.com/content/netflixoss/external-gradle-plugins/org/gradle/test-retry-gradle-plugin/1.1.6/test-retry-gradle-plugin-1.1.6.pom
     Required by:
         project :

Possible solution:
 - Declare repository providing the artifact, see the documentation at https://docs.gradle.org/current/userguide/declaring_repositories.html

然后直接点右上角的小图标下载依赖

依赖下载完以后需要编译源代码（源代码中可以看到编译的 build 目录），这样子后面部署 kafka.Kafka 启动类然后使用脚本创建 producer、consumer 的时候，才能成功。手动输入命令如下：

./gradlew clean build -x test

或者直接右侧 gradle build，不过其中需要经过很多 test 测试，上面手动跳过

四、源码代码结构

在这里插入图片描述

重点看下其中几个重要的模块:

  • bin 目录：保存 Kafka 工具脚本，包括 kafka-server-start 和 kafka-console-producer 等脚本都存放在这里

  • clients 目录：保存 Kafka 客户端代码，比如生产者和消费者的代码都在该目录下（对于 Kafka 而言都是客户端）

  • config 目录：保存 Kafka 的配置文件，其中比较重要的配置文件是 server.properties

  • connect 目录：保存 Connect 组件的源代码。 Kafka Connect 组件是用来实现 Kafka 与外部系统之间的实时数据传输的。

  • core 目录：保存 Broker 端代码。Kafka 服务器端代码全部保存在该目录下（这对于 Kafka 而言是服务端）

  • generator 目录：Kafka 消息类处理模块，主要是根据 clients 模块下的 message json 文件生成对应的 java 类，在 build.gradle 文件中，可以看到定义了一个任务 processMessages

  • raft 目录：raft 一致性协议相关。

五、核心 Core 目录代码结构

在这里插入图片描述

  • admin 包：执行管理命令的功能；
  • api 包：封装请求和响应 DTO 对象；
  • cluster 包：集群对象，例如 Partition 类代表一个分区，Replica 类代表一个分区副本；
  • common 包：通用类，比如异常类
  • consumer 包：只有一个类 BaseConsumerRecord，后面会丢弃该包，用 clients 包下 org.apache.kafka.clients.consumer.ConsumerRecord 代替；
  • controller 包： 和 kafkaController（kc）相关的类，重点模块，一个kafka集群只有一个leader kafkaController，该kafkaController负责分区管理，副本管理，并保证集群信息在集群中同步；
  • coordinator 包：保存了消费者端的 GroupCoordinator 代码和用于事务的 TransactionCoordinator 代码。对 coordinator 包进行分析，特别是对消费者端的 GroupCoordinator 代码进行分析，是 Broker 端协调者组件设计原理的关键；
  • log 包：保存了 Kafka 最核心的日志结构代码，包括日志、日志段、索引文件等, 另外，该包下还封装了 Log Compaction 的实现机制，是非常重要的源码包；
  • network 包：封装了 Kafka 服务器端网络层的代码，特别是 SocketServer.scala 这个文件，是 Kafka 实现 Reactor 模式的具体操作类，非常值得一读；
  • server 包：顾名思义，它是 Kafka 的服务器端主代码，里面的类非常多，很多关键的 Kafka 组件都存放在这里，比如状态机、Purgatory 延时机制等；
  • tools 包：工具类。

六、源码部署验证

最终其实就是在第三章编译完 kafka 所有文件的基础上，要启动 core 目录下和 broker 相关的类，启动类就是 kafka-2.7.0-src/core/src/main/scala/kafka/Kafka.scala

6.1 core.main 下新建日志配置类

在 core/main 下新建 resources 目录，再将 config/log4j.properties 拷贝到该目录下
在这里插入图片描述
同时在 build.gradle 中设置
在这里插入图片描述

compile group: 'log4j', name: 'log4j', version: '1.2.17'
compile group: 'org.slf4j', name: 'slf4j-api', version: '1.7.30'
compile group: 'org.slf4j', name: 'slf4j-log4j12', version: '1.7.30'

这是为了避免启动报错“SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder””

6.2 修改 server.properties

修改 server.properties 中的 log.dirs 值，变为本地目录，

/Users/gabriel/Desktop/DiveinCode/kafka-2.7.0-src 下新建 kafka-logs 目录，修改配置如下

log.dirs=/Users/gabriel/Desktop/DiveinCode/kafka-2.7.0-src/kafka-logs

6.3 配置 Run Configurations

在这里插入图片描述

6.4 发送、消费 message

上面已经搭建好 Kafka Broker 的部署环境，并且编译成功了所有和 producer、consumer 有关的文件类，现在使用 Kafka 自带的脚本工具测试 producer 和 consumer

整体流程如下：

  1. 创建 topic

    进入 kafka-2.7.0-src/bin 通过 kafka-topics.sh 命令来创建一个名为 topicjxz 的 topic（前提代码已经 build 编译完），zookeeper 的地址我是先通过 sh zkServer.sh start 启动，然后 zkCli 启动客户端找到的：

    sh kafka-topics.sh --zookeeper localhost:2181 --create --topic topicjxz --replication-factor 1 --partitions 1

在这里插入图片描述
–zookeeper 指定了 zookeeper 的地址，–topic 指定主题名称

  1. 通过 kafka-console-consumer.sh 命令启动一个命令行的 consumer 来消费 topicjxz 这个 topic
sh kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topicjxz

在这里插入图片描述
–bootstrap-server 指定 broker 所在地址，–topic 指定对应发送消息到的主题

  1. 重新启动一个命令行终端，通过 kafka-console-producer.sh 命令启动一个命令行的 producer 向 topicjxz 这个 topic 中生产数据
sh kafka-console-producer.sh --bootstrap-server localhost:9092 --topic topicjxz

在这里插入图片描述
在这里插入图片描述

至此，我们发现已经将整个 producer、broker、consumer 的链路部署起来并测试成功了。

互联网民工蒋大钊
关注
  • 8
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
Kafka集群调优实战+分布式集群搭建-视频教程网盘链接提取码下载 .txt
06-01
课程内容包括了Kafka java Consumer实战，Kafka集成框架，Kafka分布式集群架构，Kafka性能测试实战，Kafka集群监控实战，Kafka用户行为画像，Kafka性能存储优化及如何提高Kafka吞吐量等企业级技术。 视频大小：1.5G
如何做 Kafka 的性能测试
激流丶的博客
06-29 1762
如何做 Kafka 的性能测试
kafka测试方案
leveretz的博客
07-23 3943
1引言 数据中台因业务需要将要引入开源框架kafka。 本文主要内容为kafka接入数据中台的技术验证预案和实施建设预案。 2验证预案 2.1性能验证 验证kafka的高吞吐率，主要验证producer和consumer的发送和消费吞吐率。 使用kafka manager 监控。 发送量测试 测试环境设定：broker集群（3节点），topic（1个），partition（3节点*2），replication（3）。 1、在borker不变的情况下，producer数量变化..
Kafka性能测试初探
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
05-05 417
相信大家对Kafka不会陌生，但首先还是要简单介绍一下。Kafka是一种高性能的分布式消息系统，由LinkedIn公司开发，用于处理海量的实时数据流。它采用了发布/订阅模式，可以将数据流分发到多个消费者端，同时提供了高可靠性、高吞吐量和低延迟的特性。Kafka的应用场景非常广泛，例如日志收集、事件流处理、实时监控等。在这些场景中，Kafka可以提供高可靠性和低延迟的数据传输，确保数据的稳定性和实时性。与此同时，Kafka还提供了丰富的API和管理工具，使得用户可以方便地配置和管理Kafka集群。
Kafaka测试
chunmian8815的博客
12-25 282
1.创建topic kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic soyo 2.查看创建的主题 kafka-topics.sh --list...
windows中kafka环境搭建并测试
weixin_43290964的博客
07-01 711
windows中使用kafka
Kafka源码解析-环境搭建
秋风扫落叶
11-29 537
【代码】Kafka源码解析-环境搭建。
kafka源码本地环境搭建踩坑
weixin_44144762的博客
06-09 340
openjdk下载后解压到目标文件夹，系统环境变量设置,path里添加，新开cmd输入命令测试安装是否成功github dotty仓库选择要的版本，下载不带source的zip文件，下载后解压到目标文件夹，系统环境变量设置,path里添加，新开cmd输入命令测试安装是否成功gradle官网点击"Download: binary-only or complete"的binary-only下载gradle-*.*.*-bin.zip文件，解压到目标文件夹，系统环境变量设置，添加 到 Path 系统变量中，设置
聊聊 Kafka：编译 Kafka 源码并搭建源码环境
riemann_的博客
10-10 1701
一、前言 老周这里编译 Kafka 的版本是 2.7，为啥采用这个版本来搭建源码的阅读环境呢？因为该版本相对来说比较新。而我为啥不用 2.7 后的版本呢？比如 2.8，这是因为去掉了 ZooKeeper，还不太稳定，生产环境也不太建议使用，所以以 2.7 版本进行源码搭建并研究。 二、环境准备 JDK：1.8.0_241 Scala：2.13.6 Gradle：5.6.3 三、环境搭建 3.1 JDK 环境搭建 这个就不用我说了吧，搞 Java 的本机都有 JDK 环境。 3.2 Scala 环境搭建
一步步教你搭建Kafka开发环境，轻松上手！
Lion_Long的博客
11-25 2872
本文将介绍如何在Linux环境下搭建Kafka开发环境。首先，我们将详细说明如何安装Java环境，包括下载Linux下的安装包、解压缩安装包、将解压后的文件移到/usr/lib目录下以及配置java环境变量等。其次，我们将重点介绍Kafka的安装部署过程，包括下载安装Kafka、配置和启动zookeeper以及启动和停止Kafka服务。通过本文的指导，读者将能够轻松搭建Kafka开发环境，为实际应用和开发工作做好准备。
Kafka集群配置样例_3节点_源码
12-28
经过Linux上配置测试。3节点集群。重点看一下config目录下server.properties文件的zookeeper.connect配置
Java基于netty的websocket消息组件项目源码+使用说明.zip
01-09
该组件依赖消息队列中间间实现消息的生产与监听消费，同时借助netty框架搭建websocket服务，实现消息的实时推送。该组件包含以下特性： - 支持rabbitmq、rocketmq、kafka三种消息队列的切换 - 支持websocket心跳检测...
centos7.5分布式平台搭建.docx
08-26
19. Kafka 67 19.1. 优化 67 20. Spark2.x 68 20.1. 示例执行 68 21. YARN 68 21.1. 错误处理 68 22. Docker安装 68 22.1. 在线安装 68 22.1.1. 使用国内docker源 68 22.1.2. Docker安装 68 22.1.3. 启动进程 68 ...
java版商城源码下载-resume:恢复
06-05
java版商城源码下载 联系方式 Email： QQ/微信号：847468565 个人信息 本科/赣南师范大学计算机系 工作年限：2年 技术博客： Github: 期望职位：Java高级程序员 期望薪资：税前月薪12k~20k，特别喜欢的公司可例外...
jar包增量更新分析
junlaiyan的专栏
05-16 285
借助jdeps分析出jar包的增量文件
docker中安装jenkins，并在node和cloud上跑通基于源码控制SCM的pipeline
最新发布
qq_29022265的博客
05-19 1052
从安装jenkins到创建jenkins的node和cloud，最后再将scm和FreeStyle两种流水线跑通。
Spring-Cloud 微服务
weixin_65127444的博客
05-15 913
先来思考一个问题*通过上一章的操作，我们已经可以实现微服务之间的调用。但是我们把服务提供者的网络地址（ip，端口）等硬编码到了代码中，这种做法存在许多问题：1.一旦服务提供者地址变化，就需要手工修改代码2. 一旦是多个服务提供者，无法实现负载均衡功能3.一旦服务变得越来越多，人工维护调用关系困难那么应该怎么解决呢，这时候就需要通过注册中心动态的实现。
java实现拼图小游戏
monkey108的博客
05-16 644
本文主要提供用java实现的拼图小游戏源代码。
Windows系统上搭建kafka环境
07-11
要在Windows系统上搭建Kafka环境，可以按照以下步骤进行操作： 1. 下载Kafka压缩包： 访问Apache Kafka的官方网站（https://kafka.apache.org/downloads）下载最新版本的Kafka压缩包。 2. 解压Kafka压缩包： 将下载的Kafka压缩包解压到所需的目录中，例如：C:\kafka。 3. 配置Kafka： 在Kafka目录下，找到并打开config文件夹，编辑server.properties文件。 - 修改`listeners`配置为`listeners=PLAINTEXT://localhost:9092`。 - 修改`advertised.listeners`配置为`advertised.listeners=PLAINTEXT://localhost:9092`。 - 保存并关闭server.properties文件。 4. 启动Zookeeper服务： Kafka依赖于Zookeeper，所以需要先启动Zookeeper服务。 - 在Kafka目录下，找到并打开bin文件夹。 - 双击运行Windows脚本文件`windows\zookeeper-server-start.bat`。 5. 启动Kafka服务： - 在Kafka目录下，找到并打开bin文件夹。 - 双击运行Windows脚本文件`windows\kafka-server-start.bat`。 6. 创建Topic： - 打开一个新的命令行窗口。 - 导航到Kafka目录下的bin文件夹。 - 运行Windows脚本文件`windows\kafka-topics.bat`，使用以下命令创建一个名为`mytopic`的Topic： ``` kafka-topics.bat --create --topic mytopic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 ``` 现在，你已经在Windows系统上成功搭建了Kafka环境。你可以使用Kafka命令行工具或Kafka客户端库来与Kafka进行交互和开发。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

互联网民工蒋大钊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值