Kafka学习总结(五)——Kafka集群搭建

原创 2016年11月30日 22:59:12
1、准备好kafka安装包,unzip xxx.zip 解压。

压缩包网盘地址:http://pan.baidu.com/s/1o8pmH2U
2、进入到kafka的config目录

3、先搭建三个节点zk集群,三台机器。
修改zookeeper.properties如下配置信息。
cd /home/xxx/data/zookeeper 目录
每台机器都需要创建myid文件,内容依次为1,2,3
如下是3台集群服务器样例:

4、三台机器都修改好zookeeper.properties文件和创建好myid文件
进入kafka目录
执行启动zookeeper命令nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties >logs/zookeeper.log 2>1 &

三台机器都执行启动命令,查看logs/zookeeper.log 文件,没有报错就说明zookeeper集群启动成功了。
5、着手搭建kafka集群
修改server.properties配置文件,三个配置相应修改。
host.name 为各机器的IP地址

配置文件最下方:

5、启动kafka三个节点
进入kafka目录,执行如下命令
nohup ./bin/kafka-server-start.sh config/server.properties >logs/kafka.log 2>1 &
6、测试kafka集群
1-进入kafka根目录,创建topic--test
bin/kafka-topics.sh --create --zookeeper 192.168.1.xx:2181,192.168.1.xx:2181,192.168.1.xx:2181 --replication-factor 1 --partitions 1 --topic test

2-列出已创建的topic列表
bin/kafka-topics.sh --list --zookeeper localhost:2181
3-模拟客户端去发送消息
bin/kafka-console-producer.sh --broker-list 192.168.1.xx:9092,192.168.1.xx:9092,192.168.1.xx:9092 --topic test

4-模拟客户端去接受消息
bin/kafka-console-consumer.sh --zookeeper 192.168.1.xx:2181,192.168.1.xx:2181,192.168.1.xx:2181 --from-beginning --topic test

7、自己测试结果

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic test
版权声明:本文为博主原创文章,未经博主允许不得转载。

Kafka集群搭建详细步骤

Kafka集群搭建1、 Kafka的安装需要java环境,cent os 7自带java1.6版本,可以不用重新安装,直接使用自带的jdk 即可;如果觉得...
  • zxy987872674
  • zxy987872674
  • 2017年05月18日 16:45
  • 8517

kafka集群环境搭建

今在完成 storm集群搭建之后,希望集成 kafka。 此文记录搭建的过程。 storm集群搭建可以看  http://blog.csdn.net/ch717828/article/detai...
  • ch717828
  • ch717828
  • 2016年02月26日 13:10
  • 3257

kafka集群搭建

  • 2017年12月14日 10:05
  • 137KB
  • 下载

centos7下kafka集群搭建

概述集群安装或者单机安装都可以,这里介绍集群安装。Kafka本身安装包也自带了zookeeper,也可以使用其自带的zookeeper。建议试用自己安装的zookeeper,本教程试用单独安装的zoo...
  • xuefeng1207
  • xuefeng1207
  • 2017年08月10日 15:16
  • 373

Kafka详解二、如何配置Kafka集群

Kafka集群配置比较简单,为了更好的让大家理解,在这里要分别介绍下面三种配置 单节点:一个broker的集群单节点:多个broker的集群多节点:多broker集群 一、单节点单broker实例...
  • suifeng3051
  • suifeng3051
  • 2014年07月31日 17:39
  • 25928

Zookeeper+Kafka集群搭建

说明搭建zookeeper和Kafka集群: 本实验拥有3个节点,均为CentOS 7系统,分别对应IP为10.211.55.11、10.211.55.13、10.211.55.14,且均有相同用户...
  • jiecxy
  • jiecxy
  • 2016年08月28日 21:52
  • 1351

kafka集群环境搭建

转自:http://blog.csdn.net/ch717828/article/details/50748872 今在完成 storm集群搭建之后,希望集成 kafka。 此文记录搭...
  • guolong1983811
  • guolong1983811
  • 2017年10月18日 21:59
  • 299

kafka集群环境搭建

kafka集群测试环境搭建全记录。
  • fang_sh_lianjia
  • fang_sh_lianjia
  • 2016年08月15日 14:36
  • 2964

Kafka之——集群搭建

一、Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。 1、软件环境 (3台服务器-我的测试) 192.168.7.100 serve...
  • l1028386804
  • l1028386804
  • 2017年10月28日 13:00
  • 447

kafka集群配置启动及编程

kafka集群配置启动及编程 1.      说明 本文描述在同一台机器上配置3个zookeeper节点,3个kafka节点的方法。本文描述的集群搭建方式,基于windows系统,其他操作系统类似。 ...
  • lihancheng
  • lihancheng
  • 2016年07月03日 21:27
  • 4270
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Kafka学习总结(五)——Kafka集群搭建
举报原因:
原因补充:

(最多只允许输入30个字)