Kafka单机部署学习演示案例

已于 2022-11-14 22:40:13 修改
阅读量1k 收藏 2
点赞数
分类专栏： java 文章标签： kafka 学习 java
于 2022-11-14 22:32:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LvQiFen/article/details/127857129
版权

Kafka 单机部署演示

前置准备

虚拟机配置：

  • 内存：3G
  • 处理器：1
  • 核数：1

（一）kafka 安装

去kafka官网下载稳定版本到Linux服务器中进行解压安装。下载链接，我这里使用的是2.7.0 版本的, 建议使用迅雷插件下载，wget 速度有点慢。

[root@localhost install-package]# pwd
/home/lvzb/install-package
[root@localhost install-package]# wget https://archive.apache.org/dist/kafka/2.7.0/kafka_2.13-2.7.0.tgz
[root@localhost install-package]# ls
jdk-8u11-linux-x64.tar.gz  jdk-8u351-linux-x64.tar.gz  kafka_2.13-2.7.0.tgz
[root@localhost install-package]#
[root@localhost install-package]#
[root@localhost install-package]#
[root@localhost install-package]# tar -zxvf kafka_2.13-2.7.0.tgz
kafka_2.13-2.7.0/
kafka_2.13-2.7.0/LICENSE
kafka_2.13-2.7.0/NOTICE
kafka_2.13-2.7.0/bin/
kafka_2.13-2.7.0/bin/kafka-delete-records.sh
kafka_2.13-2.7.0/bin/trogdor.sh
kafka_2.13-2.7.0/bin/kafka-preferred-replica-election.sh
kafka_2.13-2.7.0/bin/connect-mirror-maker.sh
.......

[root@localhost install-package]#
[root@localhost install-package]# ls
jdk-8u11-linux-x64.tar.gz  jdk-8u351-linux-x64.tar.gz  kafka_2.13-2.7.0  kafka_2.13-2.7.0.tgz
[root@localhost install-package]# cp -r kafka_2.13-2.7.0  /opt/software/middleware/kafka_broke1
[root@localhost install-package]# cp -r kafka_2.13-2.7.0  /opt/software/middleware/kafka_broke2

（二）启动 kafka

  • 修改配置文件，进入kafka目录修改 config/server.properties 打开 listeners=PLAINTEXT://localhost:9092 localhost 最好换成你的虚拟机ip,
  • 启动内置zookeeper
  • 启动kafkfa服务
  • nohup XXXX & ： 后台启动
[root@localhost kafka_2.13-2.7.0]#
[root@localhost kafka_2.13-2.7.0]# pwd
/opt/software/middleware/kafka_2.13-2.7.0
[root@localhost kafka_2.13-2.7.0]#
[root@localhost kafka_2.13-2.7.0]# vim config/server.properties

.....
# The address the socket server listens on. It will get the value returned from
# java.net.InetAddress.getCanonicalHostName() if not configured.
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.host.name:9092
listeners=PLAINTEXT://192.168.125.100:9092
....

[root@localhost kafka_2.13-2.7.0]# nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
[1] 69676
[root@localhost kafka_2.13-2.7.0]# nohup bin/kafka-server-start.sh config/server.properties &
[2] 70059

（三）创建 topic

  • 创建一个 topic testk 含有3个partition， 每个 partition 单副本
  • 命令说明
    • 查看topic:bin/kafka-topics.sh --zookeeper localhost:2181 --list
    • 创建topic:bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic testk --partitions 3 --replication factor 1
    • 查看topic testk: bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic testk
[root@localhost kafka_2.13-2.7.0]# bin/kafka-topics.sh --zookeeper localhost:2181 --list
[root@localhost kafka_2.13-2.7.0]#
[root@localhost kafka_2.13-2.7.0]#
[root@localhost kafka_2.13-2.7.0]#bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic testk --partitions 3 --replication factor 1 
[root@localhost kafka_2.13-2.7.0]#
[root@localhost kafka_2.13-2.7.0]# bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic testk
Topic: testk    PartitionCount: 3       ReplicationFactor: 1    Configs:
        Topic: testk    Partition: 0    Leader: 0       Replicas: 0     Isr: 0
        Topic: testk    Partition: 1    Leader: 0       Replicas: 0     Isr: 0
        Topic: testk    Partition: 2    Leader: 0       Replicas: 0     Isr: 0
[root@localhost kafka_2.13-2.7.0]#

（四）创建消费者

  • 新开一个窗口 创建生产者:bin/kafka-console-producer.sh --bootstrap-server 192.168.125.100:9092 --topic testk, 输入
[root@localhost kafka_2.13-2.7.0]# bin/kafka-console-producer.sh --bootstrap-server 192.168.125.100:9092 --topic testk
>
>
>
>
>
>
>aaa
> hello world
>
>你好
> 行路难，行路难，多歧路，今安在？
>长风破浪会有时，直挂云帆济沧海！
>
>
  • 新开一个窗口 创建一个消费者: bin/kafka-console-consumer.sh --bootstrap-server 192.168.125.100:9092 --from-beginning --topic testk， 从头开始消费
[root@localhost kafka_2.13-2.7.0]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.125.100:9092 --from-beginning --topic testk




aaa
hello world

你好
 行路难，行路难，多歧路，今安在？
长风破浪会有时，直挂云帆济沧海！

（五）性能测试

// 生产者
bin/kafka-producer-perf-test.sh --topic testk --num-records 100000 --record-size 1000 --throughput 2000 --producer-props bootstrap.servers=192.168.125.100:9092
// 消费者
bin/kafka-consumer-perf-test.sh --bootstrap-server 192.168.125.100:9092 --topic testk --fetch-size 1048576 --messages 100000 --threads 1
  • 生产者测试：bin/kafka-producer-perf-test.sh --topic testk --num-records 100000 --record-size 1000 --throughput 200000 --producer-props bootstrap.servers=192.168.125.100:9092
    • 给topic testk 发送 100000 个消息，
    • –num-records 100000: 总共发送100000条信息
    • –record-size 1000: 每个消息 1000字节大小
    • –throughput 200000: 每秒200000条消息 ,每秒多少条信息，设置成-1，表示不限流，可测生产者最大吞吐量
[root@localhost kafka_2.13-2.7.0]#
[root@localhost kafka_2.13-2.7.0]#
[root@localhost kafka_2.13-2.7.0]# bin/kafka-producer-perf-test.sh --topic testk --num-records 100000 --record-size 1000 --throughput 200000 --producer-props bootstrap.servers=192.168.125.100:9092
770 records sent, 152.5 records/sec (0.15 MB/sec), 758.4 ms avg latency, 3553.0 ms max latency.
3791 records sent, 755.3 records/sec (0.72 MB/sec), 1680.1 ms avg latency, 2748.0 ms max latency.
5737 records sent, 1138.5 records/sec (1.09 MB/sec), 2480.5 ms avg latency, 3174.0 ms max latency.
7895 records sent, 1556.3 records/sec (1.48 MB/sec), 1755.0 ms avg latency, 2854.0 ms max latency.
8928 records sent, 1773.5 records/sec (1.69 MB/sec), 1451.4 ms avg latency, 2237.0 ms max latency.
8888 records sent, 1770.5 records/sec (1.69 MB/sec), 820.1 ms avg latency, 1850.0 ms max latency.

从结果来看 ：发送9000条左右数据 ，大约每秒能发送 1770 个左右消息，吞吐量为1.69MB/sec, 每次写入的评均延迟1451.4ms, 最大延迟 2237.0ms。虚拟机的配置不是很好

  • 消费者测试：bin/kafka-consumer-perf-test.sh --bootstrap-server 192.168.125.100:9092 --topic testk --fetch-size 1048576 --messages 100000 --threads 1
    • –topic： 指定topic
    • –fetch-size : 指定每个 fetch的数据大小
    • –messages ： 总共要消费的消息个数
[root@localhost kafka_2.13-2.7.0]#
[root@localhost kafka_2.13-2.7.0]# bin/kafka-consumer-perf-test.sh --bootstrap-server 192.168.125.100:9092 --topic testk --fetch-size 1048576 --messages 100000 --threads 1
WARNING: option [threads] and [num-fetch-threads] have been deprecated and will be ignored by the test
start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2022-11-14 21:38:37:934, 2022-11-14 21:38:45:708, 95.6700, 12.3064, 100340, 12907.1263, 1668433121352, -1668433113578, -0.0000, -0.0001
[root@localhost kafka_2.13-2.7.0]#
[root@localhost kafka_2.13-2.7.0]#
[root@localhost kafka_2.13-2.7.0]# bin/kafka-consumer-perf-test.sh --bootstrap-server 192.168.125.100:9092 --topic testk --fetch-size 1048576 --messages 100000 --threads 1
WARNING: option [threads] and [num-fetch-threads] have been deprecated and will be ignored by the test
start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2022-11-14 21:41:26:185, 2022-11-14 21:41:33:692, 95.6700, 12.7441, 100340, 13366.1916, 1668433289699, -1668433282192, -0.0000, -0.0001
开始时间结束时间共消费数据 MB吞吐量共消费数据 条平均每秒消费/条7890
start.timeend.timedata.consumed.in.MBMB.secdata.consumed.in.nMsgnMsg.secrebalance.time.msfetch.time.msfetch.MB.secfetch.nMsg.sec
2022-11-14 21:38:37:9342022-11-14 21:38:45:70895.670012.306410034012907.12631668433121352-1668433113578-0.0000-0.0001
2022-11-14 21:41:26:1852022-11-14 21:41:33:69295.670012.744110034013366.19161668433289699-1668433282192-0.0000-0.0001

从结果来看： 平均每秒消费 1万2千条左右妥妥的

报错问题解决

  • jdk 版本过低导致启动失败 java.lang.VerifyError: Uninitialized object exists on backward branch：

    • 解决，升级jdk版本即可

  • 使用localhost:9092导致 创建生产者和消费者时重复弹出日志WARN [Producer clientId=console-producer] Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)

    • 解决：使用ip:9092 而不用 localhost

参考资料

LvQiFen
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
开启了Kerberos的Kafka客户端配置
光于前裕于后的博客
05-25 1574
如果不做任何配置将会报错： WARN [Producer clientId=console-producer] Bootstrap broker xx:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient) 添加两个文件： # client.properties security.protocol=SASL_PLAINTEXT sasl.kerberos.service.name=kafka # jaas
《Kafka单机部署》配置文件
08-06
下面我们将详细探讨《Kafka单机部署》中涉及的知识点。 首先，我们需要理解Kafka的基本架构。Kafka由多个组件构成，主要包括Brokers（代理）、Producers（生产者）、Consumers（消费者）以及Topics（主题）。在单机...
Kafka系列 - 03 Kafka安装|单机环境搭建|伪集群环境搭建 (一台服务器)
你今天真好看呀
11-22 1324
① 在安装完JDK和ZooKeeper之后，就可以执行Kafka broker的安装了，首先也是从官网http://kafka.apache.org/downloads中下载安装包，示例中选用按照包的是kafka_2.12-2.2.1.tgz。① 安装ZooKeeper的第一步也是下载相应的安装包，安装包可以从官网https://zookeeper.apache.org/中获得，我们使用的安装包是zookeeper-3.4.14.tar.gz。这个文件就是记录每个服务器的ID。
单机单实例部署Kafka及测试
方亮的专栏
04-22 419
在我们做和kafka开发相关的工作时，往往希望独立部署一套kafka测试环境。而kafka部署时，不能只是简单安装kafka自身组件，还要安装zookeeper、JDK之类的辅助软件。这让其部署变得不是那么方便。本文将使用kafka和zookeeper的官方编译包来做部署。
03、 Kafaka单机环境部署
最新发布
baidu_41907361的博客
05-06 507
（1）安装Zookeeper（2）启动zookeeper（3）安装 Kafka（4）启动Kafka–name kafka: 设置容器的名字为“kafka”。-p 9092:9092: 将容器的9092端口映射到宿主机的9092端口。–link zookeeper:zookeeper: 连接到名为“zookeeper”的另一个Docker容器，并且在当前的容器中可以通过zookeeper这个别名来访问它。
Kafka启动生产者报错
heiqingchong的博客
02-11 2459
记录Centos7安装Kafka，启动生产者报错 WARN [Producer clientId=console-producer] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient) 使用命令行启动生产者： bin/kafka-console-producer.sh --
【kafka生产者启动报错】
weixin_42532865的博客
07-02 3018
因为之前在配置文件中写死了ip地址，所以现在这边启动的时候不能再使用localhost作为ip地址了。将localhos调整为配置文件中的ip即可： 1. 生产者： 2. 消费者： 消息收发成功
Kafka安装部署与Java调用.zip
03-01
本资料主要涵盖了Kafka的安装部署以及Java API的调用方法，分为单机版和集群版两种环境。 ### Kafka安装部署 #### 单机版安装 1. **下载**: 首先，你需要从Apache Kafka的官方网站下载最新版本的Kafka。确保下载与...
kafka单机版安装部署手册1
08-08
kafka单机版安装部署手册1 在本手册中，我们将指导您如何在单机上安装和部署 Apache Kafka。Kafka 是一个分布式流媒体平台，用于构建实时数据管道和事件驱动架构。 安装 ZooKeeper 首先，我们需要安装 ZooKeeper...
Lancger#opslinux#Kafka单机配置部署1
07-25
1、下载zookeeper安装包 2、安装zookeeper 3、服务启动 4、检查状态 5、连接测试 1、下载kafka安装包 2、修改文件server.pr
利用docker和docker-compose部署单机kafka
01-20
docker部署kafka非常简单，只需要两条命令即可完成kafka服务器的部署。 docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e ...
kafka搭建windows版本单机环境
04-11
项目需要，自学初级kafka环境搭建，现将学习心得，解压包和样例代码上传供大家参考学习，有兴趣的可以私聊讨论。
kafka Windows测试启动踩坑
wwyy2018的博客
03-05 3347
官网下载安装包到D盘下，然后进入bin下的windows目录，使用bat命令。 命令 bin---》windows---》 1、启动zookeeper-server： zookeeper-server-start.bat ../../config/zookeeper.properties 2、启动kafka-server： kafka-server-start.bat ../../config/server.properties 3、创建topic： kafka-topics.bat --cr
kafka问题之{sync_service=LEADER_NOT_AVAILABLE}
高新富的博客
11-10 870
1.问题描述 2020-11-10 14:46:50.919 WARN 25567 --- [ad | producer-1] org.apache.kafka.clients.NetworkClient : [Producer clientId=producer-1] Error while fetching metadata with correlation id 9 : {sync_service=LEADER_NOT_AVAILABLE} 2020-11-10 14:46:51.035 WA
kafka发送数据报错： Error connecting to node xxxxx:9092 (id: 1 rack: null)java.net.UnknownHostExceptio
毅香雪海的博客
04-06 5510
kafka发送数据报错:Error connecting to node xxxxx:9092 (id: 1 rack: null)java.net.UnknownHostExceptio
Connection to node -0 could not be established. Broker may not be available
热门推荐
qq_29302609的博客
08-20 1万+
搜索了很多网络知识，得到这个问题的解决办法有下列三种 确认服务已经启动 关闭防火墙 在kafka的应用下/config/server.properties下找到#listeners=PLANTEXT://9092,去掉井号，并且将服务器ip或者域名加入到PLANTEXT:的后面，其中PLANTEXT是kafka默认使用的通信协议。在这个文件中，还有一个advertised.listeners...
Kafka【问题 03】Connection to node -1 (/IP:9092) could not be established. Broker may not be available.
Java与大数据相关实践内容分享！
03-20 1973
Connection to node -1 (/IP:9092) could not be established. Broker may not be available.
Kafka新旧版本命令问题
珍惜
04-12 1万+
Kafka新旧版本命令问题1、异常汇总2、问题分析3、问题解决4、使用java生产数据4、总结 1、异常汇总 输入如下命令生成一个生产者/usr/local/chen/kafka/bin/kafka-console-producer.sh --broker-list 192.168.43.175:2181,192.168.43.176:2181,192.168.43.177:2181 --topi...
Error while fetching metadata with correlation
data_data_amtime的博客
01-21 2540
kafka 版本： 2.7.0 ， 集群情况 注意版本，不同的版本情况不一样。我以 2 .7 为例 首先配置：config/server.properties advertised.listeners: 把注释去掉，在PLAINTEXT://后面放入你的公网ip 如：PLAINTEXT://192.168.0.1：9092 如下异常： xxx [2021-01-21 10:59:28,658] WARN [Producer clientId=console-producer] Connection to
docker kafka单机部署
08-03
6. 现在，您的Docker Kafka单机部署已经完成。您可以使用以下命令连接到Kafka容器并执行相关操作： - `docker exec -it kafka bash`：连接到Kafka容器的命令行界面 - `cd /opt/kafka_2.13-2.7.0`：进入Kafka安装...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值