安装 Kafka 和 Zookeeper 步骤

最新推荐文章于 2024-10-04 21:42:07 发布
最新推荐文章于 2024-10-04 21:42:07 发布
阅读量613 收藏 14
点赞数 12
文章标签： kafka zookeeper 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_74750308/article/details/142603668
版权

目录

步骤1:环境准备

步骤2: 准备Java环境

步骤3: 连接虚拟机

步骤4: 解压Zookeeper和Kafka

步骤5: 验证解压

步骤6: 配置Zookeeper

步骤7: 启动Zookeeper

步骤8: 查看Kafka配置文件

步骤9: 启动Kafka

步骤10: 验证Kafka

步骤11: 设置环境变量（可以不做）

步骤11: 设置服务自启2

步骤13: 验证安装

步骤1:环境准备

  • 虚拟机名称: hadoop01

  • IP地址: 192.168.80.151

  • 操作系统: CentOS 7

  • 远程连接工具: Xshell

  • 文件传输工具: Xftp

步骤2: 准备Java环境

  1. 确保JDK环境已安装。

步骤3: 连接虚拟机

  1. 启动虚拟机。

  2. 使用Xshell连接到虚拟机。

  3. 使用Xftp将Zookeeper和Kafka压缩包复制到Linux的/root目录下。

步骤4: 解压Zookeeper和Kafka

  1. 在Xshell中，将Zookeeper和Kafka的压缩包解压到/usr/local/目录下。

    tar -zxvf /root/kafka_2.12-3.7.0.tgz -C /usr/local

tar -zxvf /root/zookeeper-3.4.10.tar.gz -C /usr/local

步骤5: 验证解压

  1. 查看/usr/local/目录，确认Zookeeper和Kafka是否解压完成。

    cd /usr/local/
ll

步骤6: 配置Zookeeper

  1. 将 zookeeper-3.4.10 中的 conf 中的 zoo_sample.cfg 文件名修改成 zoo.cfg

    mv /usr/local/zookeeper-3.4.10/conf/zoo_sample.cfg /usr/local/zookeeper-3.4.10/conf/zoo.cfg

步骤7: 启动Zookeeper

  1. 进入Zookeeper的bin目录。

cd /usr/local/zookeeper-3.4.10/bin

  1. 启动Zookeeper服务。

    ./zkServer.sh start

  2. 查看Zookeeper状态。

    ./zkServer.sh status

步骤8: 查看Kafka配置文件

  1. 切换目录到 /usr/local/ 进入 kafka_2.12-3.7.0/ 进入 config/ ，查看配置文件server.properties

    cd /usr/local/kafka_2.12-3.7.0/config
vi server.properties

    保存修改并退出vi : Esc -> : -> wq! -> Enter

    修改zookeeper.connect属性为192.168.80.151:9092。

步骤9: 启动Kafka

  1. 进入Kafka的bin目录。

    cd /usr/local/kafka_2.12-3.7.0/bin

  2. 启动Kafka服务。

    ./kafka-server-start.sh ../config/server.properties

步骤10: 验证Kafka

  1. 使用jps命令检查Kafka是否成功启动。

    jps

步骤11: 设置环境变量（可以不做）

  1. 打开

    /etc/profile

    文件，添加Kafka和Zookeeper的bin目录到PATH环境变量。

    vi /etc/profile

    添加以下行：

    export PATH=/usr/local/kafka_2.12-3.7.0/bin:/usr/local/zookeeper-3.4.10/bin:$PATH

    保存并退出，然后运行（不运行不会生效）

    source /etc/profile

    使更改生效。

步骤11: 设置服务自启2

  1. 创建系统服务脚本，使Kafka和Zookeeper随系统启动自动运行。

步骤13: 验证安装

  1. 验证Kafka和Zookeeper是否正常工作，例如创建一个主题并发送消息。

当当总裁
关注
Kafka+zookeeper集群部署
changyitt的博客
08-09 710
echo -------------------------------- $i kafka 启动 ---------------------------echo -------------------------------- $i kafka 停止 ---------------------------mkdir /opt/zookeeper/zk1/{data,logs} ##在虚机192.168.190.151上。启停kafka：./kafka-cluster.sh stop。
Kafka和Zookeeper的安装与使用指南
AngelCryToo的专栏
08-09 895
在分布式系统的世界中，Kafka是一种高性能的消息队列系统，而Zookeeper则作为分布式协调服务的基础工具之一，为Kafka的高效运行提供支持。本指南将详细介绍在Windows和Linux系统中安装和配置Zookeeper和Kafka的步骤，并包含一些常用命令和经验总结，帮助你更好地掌握这些工具。
kafka和zookeeper的最详细安装步骤和介绍
java1254的博客
05-26 1130
kafka和zookeeper的详细安装步骤和介绍 1、异步通信 1.1. 观察者模式 观察者模式，又叫发布-订阅模式 定义对象间一种一对多的依赖关系，使得每当一个对象改变状态，则所有依赖于它的对象都会得到通知并自动更新。 一个对象（目标对象）的状态发生改变，所有的依赖对象（观察者对象）都将得到通知，进行广播通知。 1.2. 生产者消费者模式 传统模式 生产者直接消息传递给指定的消费者 耦合性特别高，当生产者或者消费者发生变化，都需要重写业务逻辑 生产者消费者模式 通过一个...
Kafka 与 Zookeeper 的关系
My_wife_QBL的博客
07-18 1339
Apache Kafka 是一个高性能、分布式的消息队列系统，广泛用于实时数据流处理。而 Apache Zookeeper 是一个开源的分布式协调服务，提供了分布式应用程序的集中式服务。Kafka 和 Zookeeper 之间有着紧密的关系，Zookeeper 为 Kafka 提供了多种关键功能，使得 Kafka 能够实现高可用性、可靠性和扩展性。本文将详细### Kafka 与 Zookeeper 的关系Apache Kafka 是一个高性能、分布式的消息队列系统，广泛用于实时数据流处理。
kafka+zookeeper教程
08-05 809
创建节点(znode)-s: 创建顺序节点。-e: 创建临时节点。获取znode的数据。设置znode的数据。查看znode的状态。递归删除其子节点使用。
【Linux】Kafka+ZooKeeper的安装
qq_38377525的博客
04-27 2623
【Linux】Kafka+ZooKeeper的安装
史上最强之安装Kafka并启动Zookeeper和Kafka
qq_31532979的博客
07-20 1056
现在，Kafka和Zookeeper已经启动成功。完美，可以使用Java代码进行Kafka相关的操作。使用Java编写代码安装Kafka并启动Zookeeper和Kafka，需要按照以下步骤进行操作。欢迎关注微信公众号：数据科学与艺术。
《Linux 部署kafka集群和zookeeper集群》
qq_48892022的博客
12-22 1050
ZooKeeper服务器是用Java创建的，它运行在JVM之上。需要安装JDK 7或更高版本。将下载的ZooKeeper放到/opt/ZooKeeper目录下将tar包解压到/opt/zookeeper目录下。
kafka连接zookeeper配置搭建环境、安装和启动，Windows环境下
Zhang Phil
02-23 9714
kafka，分布式集群架构下，高性能的流式事件数据（主要是消息）集成、发布（生产）和订阅（分发、消费）组件（中间件）。 kafka依赖zooeeper（数据后端），这里有Windows下安装配置启动zookeeper的 文章（1）： Windows 10环境zookeeper单机伪集群部署和配置_Zhang Phil-CSDN博客Windows 10环境zookeeper单机伪集群部署和配置1，首先到zookeeper项目主页地址下载项目包，https://archive.apache.org/dist
Kafka自带zookeeper安装步骤整合.docx
04-21
Linux下Kafka自带zookeeper安装步骤单点/集群整合
kafka和zookeeper安装包_linux.zip
12-11
在Linux环境下安装Kafka和Zookeeper，首先需要下载对应的安装包，如"Kafka和Zookeeper安装包_linux.zip"。解压后，通常会包含Zookeeper和Kafka的配置文件、可执行文件和依赖库。以下是一般的安装步骤： 1. **安装...
centos7下kafka和zookeeper和Redis集群搭建.zip
12-30
1. **安装Java环境**：Kafka、Zookeeper和Redis都需要Java运行环境，首先确保系统已安装JDK，并设置好环境变量。 2. **下载软件**：从官方网站或者镜像站点下载Zookeeper、Kafka和Redis的最新稳定版本，解压到指定...
Kafka快速实战与基本原理详解
xajh_czbk的博客
09-29 690
消费消息：但是迟迟没有消费（因为kafka默认是从消费者启动之后开始消费，也就是说刚才发的那条消费不到，原因是那个时候消费者还没有启动。）我们现在启动了消费者了，可以尝试发消息了。另一种消费方式：指定从哪里消费。刚才第一次消费的时候没有消费test1，原因上面有写。这里的这个命令就可以消费到全部了,因为指定了从哪里消费。说白了，队列里的消息只能被同一个消费者组里面的一个消费者消费。关键他还可以重复消费。启动好了kafka之后，我们再去看ZK中的节点多了这些。创建一个主题并看一下：有了主题后就可以发消息了。
kafka发送消费核心参数与设计原理详解
xajh_czbk的博客
09-29 513
如果是false，就是说消费完后不提交位移。也就是说比如之前消费的1-5.第N次还是消费到1-5.如果是false。那么第一次消费1-3，第二次消费4-5：默认是true:我们一般用false。因为会有消息丢失和消息重复消费的问题可能发生。那么我们就得手设置提交了：比如我们设置了false，那么下面这个自动提交间隔参数就没用了。
kafka
m0_72363694的博客
09-29 1019
每一个kafka启动节点拥有一个zkClient当启动后像zk发送注册请求就集群id写入到zk中，并创建监听器监听是否有临时节点controller，如果没有就会创建controller并选举成为leader节点，创建新的监听器来监听集群id，并把自己的集群元数据发送到左右从节点中，如果主节点挂了，触发controller监听器会删除临时节点，其他节点在启动后也一直在监控，如果没有谁先创建临时controller节点谁竞选为leader节点，并发送消息给所有集群节点。1 kafka消息发送的方式。
大数据新视界 --大数据大厂之 从 Druid 和 Kafka 到 Polars：大数据处理工具的传承与创新
最新发布
青云交的博客
10-04 2062
本文介绍 Polars 在大数据处理领域的崛起。提及之前对 Druid、Kafka 的探索，阐述 Polars 的优势、与其他工具的联系与突破，包括其架构、应用案例、对比情况，展现它为大数据处理注入新活力。
大数据新视界 --大数据大厂之 Kafka 性能优化的进阶之道：应对海量数据的高效传输
青云交的博客
10-03 2836
本文围绕 Kafka 性能优化展开，阐述其在大数据生态中的传输角色，剖析硬件（磁盘 I/O、内存）与配置（消息大小、批次大小）对性能的影响，介绍分区策略、数据压缩等优化策略，结合社交媒体、金融等案例讲述优化效果，还探讨医疗、物流行业应用场景，提及新硬件（如 PMEM）、人工智能（如 ARIMA 模型）带来的优化机遇与挑战。
linux安装kafka和zookeeper
09-14
安装Kafka和Zookeeper可以按照以下步骤进行操作： 1. 下载Kafka和Zookeeper的安装包，并解压到指定目录。 2. 配置Zookeeper： - 打开Zookeeper的配置文件：cd /usr/local/kafka/zookeeper/apache-zookeeper-3.6.4-bin/conf - 创建data和log文件夹：cd /usr/local/kafka/zookeeper/apache-zookeeper-3.6.4-bin && mkdir data && mkdir log 3. 启动Zookeeper： - 在每个节点上执行以下命令：cd /usr/local/kafka/zookeeper/apache-zookeeper-3.6.4-bin ./bin/zkServer.sh start 4. 配置Kafka： - 打开Kafka的配置文件：cd /usr/local/kafka/kafka_2.13-3.1.0/config - 修改配置文件server.properties，确保以下参数正确设置： - zookeeper.connect：指定Zookeeper集群的地址和端口号。 - advertised.listeners：指定Kafka监听的地址和端口号。 - log.dirs：指定Kafka日志文件的存储路径。 5. 启动Kafka： - 在每个节点上执行以下命令：cd /usr/local/kafka/kafka_2.13-3.1.0/bin ./kafka-server-start.sh ../config/server.properties 请注意，以上步骤是一般安装Kafka和Zookeeper的基本过程。根据你的实际环境和需求，可能会有一些额外的配置和步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值