kafka伪集群搭建

最新推荐文章于 2024-07-31 19:36:42 发布
最新推荐文章于 2024-07-31 19:36:42 发布
阅读量4.6k 收藏 6
点赞数 1
分类专栏： 学习 文章标签： kafka 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mj_steed/article/details/81081681
版权
本文档介绍了如何在单机环境下搭建Kafka伪集群，包括软件环境准备、配置文件修改、集群启动以及验证测试。重点讲解了配置server.properties文件中的broker.id、listeners、log.dirs和zookeeper.connect参数，并提供了启动和测试集群的步骤。
摘要由CSDN通过智能技术生成

1、软件环境准备
Kafka是将状态保存在zookeeper中的，所以首先要搭建zookeeper集群。
获取kafka的压缩包 wget http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz

2、解压软件

tar -zxvf kafka_2.11-1.1.0.tgz
mv kafka_2.11-1.1.0 kafka

下图为解压后kafka文件夹内容
这里写图片描述

3、修改配置文件

cd /mnt/kafka
ll ./config/

这里写图片描述
kafka的配置文件都放在config目录下，我们搭建集群需要修改的是server.properties

vim ./config/server.properties

需要重点注意和修改的几个配置项
这里写图片描述
集群内不同的broker.id必须为不重复的数字，否则重复的将启动失败
这里写图片描述
listeners配置kafka的host和port，如果不配置ip，kafka会使用默认的hostname去访问࿰

最低0.47元/天 解锁文章
Mj_Steed
关注
专栏目录
Linux下Kafka伪集群搭建
m0_60491538的博客
11-11 3024
Kafka伪集群搭建1. kafka单机安装启动1.1 安装配置1.2 启动1.3 生产者和消费者1.4 关闭kafka2. kafka集群启动 1. kafka单机安装启动 1.1 安装配置 官方下载网址： https://kafka.apache.org/downloads tar -xzf kafka_2.13-3.0.0.tgz #解压 mv kafka_2.13-3.0.0 kafka #修改文件名 cd kafka/config vim server.properties #修改kaf
kafka单机伪分布式搭建
weixin_42207486的博客
06-09 6921
Zookeeper的功能以及工作原理ZooKeeper是什么？ ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。Kafka简介Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的...
简单的kafka（伪）集群搭建
设xy为0的博客
01-28 503
#kafka集群搭建手册 版本 类型 日期 作者 备注 1.0 新建 20210125 邓享玉 概述 基本框架 Kafka是天然支持集群的，哪怕是一个节点实际上也是集群模式 Kafka集群依赖于Zookeeper进行协调，并且在早期的Kafka版本中很多数据都是存放在Zookeeper的 Kafka节点只要注册到同一个Zookeeper上就代表它们是同一个集群的 Kafka通过brokerId来区分集群中的不同节点 一个topic对应多个partition，part
Kafka的搭建及使用
m0_58050808的博客
07-31 558
在生产和消费数据时，如果topic不存在会自动创建一个分区为1，副本为1的topic。__consumer_offsetsL kafka用于保存消费便宜量的topic。进入zookeeper的命令行，查看里面所存储的元数据信息。进行命令行界面：zkCli.sh。启动：zkServer.sh。
Kafka伪集群搭建
kevin
06-17 2573
一、简介 Apache Kafka是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用Scala与Java语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中间件（例如ActiveMQ、RabbitMQ），Kafka具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息处理应用程序 1、Kafka架构 2、kafka高吞吐率实现 Kaf...
腾讯云~kafka伪集群搭建
Gblfy_Blog
11-08 1773
腾讯云~kafka伪集群搭建
搭建kafka集群（伪搭建）
qq_36341832的博客
08-02 199
一、下载 kafka 官网下载地址： http://kafka.apache.org/downloads. 二、配置 server.properties 解压zookeeper，进入config目录，找到server.properties文件 broker.id=1 //集群中唯一id host.name=192.168.120.87 //ip port=9091 //端口 log.dirs=C:\\Users\\Desktop\\kafka\\tmp\\kafka_log1 // 日志地址 zookee
02_Kafka伪分布式搭建-1
一个搬砖工人
05-23 143
1zookeeper的搭建 下载地址：https://www.apache.org/dyn/closer.cgi/zookeeper/ 1解压 2修改配置文件 将解压目录conf中的zoo_sample.cfg复制一份，并重命名为zoo.cfg，对zoo.cfg进行修改： ##存放数据 dataDir=D:\\zookeeper\\data #存放日志 dataLogDir=D:\\zookeeper\\log 3启动zookeeper D:\zookeeper\zookeeper-3.4.8\bin&
大数据_Kafka_搭建Kafka伪集群(本地集群）
迎难而上
08-17 4627
这里假设大家已经装好了Kafka的环境，并对kafka的知识有基本的了解。 下面直接讲解如何搭建一个本地的伪集群：（里面用到了zookeeper 伪集群 ） 搭建Zookeeper伪集群可以参考：http://blog.csdn.net/u010003835/article/details/52215054 集群配置： Step1 将配置文件拷贝多份 cp c
Linux环境下搭建kafka伪集群
qq_38205346的博客
07-09 328
Linux环境下搭建kafka伪集群 准备工作 下载安装包zookeeper-3.4.12和kafka_2.11-1.1.1。 软件环境 1台linux机器 创建目录并下载安装 1.创建目录 cd /usr/local/ #进入安装目录（自己定） mkdir kafkacluster #创建项目目录 cd kafkacluster #进入kafkacluster 目录 2.解压软件 解压zookeeper和kafka安装包 将解压后目录改名为zookeeper1和kafka 配置Zookeeper伪
创建kafka单机伪集群
一个白馒头的博客
10-11 125
如上信息表示所生产的消息“Lei Li”为消息键，“Hello Kafka”为消息值。，因为kafka，zk都是依靠jdk，所以直接使用jdk的内置命令jps即可查看。
kafka伪集群安装
Loser_you的博客
05-01 268
一、zookeeper安装 在同一台服务器上，以不同端口（2181，2182，2183）运行三个zookeeper，形成一个伪集群 下载安装包 cd /opt/software wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz 解压安装包 tar -zxvf zookeeper.tar.gz -C /opt/module/zooke
kafka搭建
suifeng0121的博客
05-26 192
1.安装zookeeper （1）上传zookeeper压缩包，解压，修改配置文件。 在zookeeper-3.4.9/conf找到zoo.cfg文件。修改文件里面的dataDir和dataLogDir的值。 dataDir=/usr/local/zookeeper/zookeeper-3.4.9/data 为数据持久化路径 dataLogDir=/usr/local/zookeeper/zookeeper-3.4.9/logs 为日志保存路径 -（2）启动zookeeper服务。 启动ZK服务: sh
单机 搭建kafka集群 本地_kafka单机伪集群配置及kafka命令
weixin_39880479的博客
12-21 145
部署环境如果是单机伪集群的话可以考虑采用docker的方式，这样方便快捷，容易管理，而且对物理机影响很小，好处多多。镜像可以去docker hub上选择支持度，pull次数比较高的。当然如果有官方镜像，优先选择官方镜像。docker-compose.yamlversion: '3'services:zookeeper:image: wurstmeister/zookeeperports:- "21...
kafka的搭建
Bobdragery的博客
11-22 3834
kafka的搭建 一、kafka介绍 kafka 是一个分布式数据流平台，可以运行在单台服务器上，也可以在多台服务器上部署形成集群。他提供了发布和订阅功能，使用者可以发送数据到kafka中，也可以从kafka中读取数据，以便进行后续的处理，kafka具有高吞吐，低延迟，高容错等特点 kafka cluster： kafka集群，一台或多台服务器组成 Broker：Broker是指部署了kafka实例的服务器节点，每个服务器上有一个或多个kafka的实例，姑且认为每个broker对应一台服务器，每个kafk
如何部署kafka伪集群
最新发布
09-25
部署Kafka伪集群通常是为了进行本地测试或开发环境的模拟，而不必创建完整的分布式集群。以下是简化的步骤： 1. **安装单机Kafka**：首先，你需要在一台机器上安装Apache Kafka。你可以从官方网站下载最新的稳定版本，然后按照官方文档进行安装。 2. **配置broker ID**：为了创建伪集群，每个实例需要有一个唯一的ID作为"broker.id"配置。这通常是主机名加上一个数字。例如，如果你的机器名为`localhost`，第一个broker可以设置为`0`。 3. **配置`zookeeper.connect`**：Kafka依赖Zookeeper进行内部协调，但在伪集群模式下，可以在同一台机器上启动一个Zookeeper实例，并将其地址配置给所有Kafka brokers，如`localhost:2181`。 4. **启动服务**：在配置文件中设置好必要的参数后，分别启动Zookeeper服务器和Kafka broker。确保它们都在同一个端口范围之外运行，避免冲突。 5. **验证连接**：通过命令行工具`kafka-topics.sh`或`kafka-console-producer.sh`等，尝试连接到你刚创建的伪集群，确认一切正常。 6. **测试生产者和消费者**：创建生产者和消费者的实例，连接到这个伪集群，发送消息并接收消息，检查数据是否能正确传递。 7. **调整配置**：如果需要，可以根据你的测试场景对配置进行微调，比如增加副本数、更改分区策略等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值