关闭

Zookeeper+Kafka集群搭建

标签: centoszookeeper集群kafkacluster
1644人阅读 评论(0) 收藏 举报
分类:

说明

搭建zookeeper和Kafka集群:
本实验拥有3个节点,均为CentOS 7系统,分别对应IP为10.211.55.11、10.211.55.13、10.211.55.14,且均有相同用户名 (本实验为 jiecxy)


为了方便,先在三台节点上 /etc/hosts 文件内容均添加:

10.211.55.11 master
10.211.55.13 worker1
10.211.55.14 worker2



一、 安装zookeeper



1. 下载 zookeeper-3.4.8.tar.gz


2. 在 master 节点上安装 zookeeper
解压安装包,并复制配置文件

# 在master节点上
[jiecxy@master ~]$ tar -xzvf zookeeper-3.4.8.tar.gz
[jiecxy@master ~]$ cd zookeeper-3.4.8/conf/
[jiecxy@master conf]$ cp zoo_sample.cfg zoo.cfg



3. 修改 zoo.cfg

[jiecxy@master conf]$ vi zoo.cfg

修改内容如下:

...
# dataDir 最好不要在 /tmp 下
dataDir=/tmp/zookeeper
...
# the port at which the clients will connect
clientPort=2181

# 添加节点,注:端口2888、3888不固定
server.0=master:2888:3888
server.1=worker1:2888:3888
server.2=worker2:2888:3888
...



4. 在 dataDir 目录下创建 data 文件夹 和 myid 文件(内容为0

# 在master节点上
[jiecxy@master ~]$ mkdir /tmp/zookeeper/data/
[jiecxy@master ~]$ touch /tmp/zookeeper/myid
[jiecxy@master ~]$ echo 0 > /tmp/zookeeper/myid



5. 将 zookeeper-3.4.8 文件夹复制到另外两个节点下

# 在master节点上
[jiecxy@master ~]$ scp -r zookeeper-3.4.8/ worker1:~/
[jiecxy@master ~]$ scp -r zookeeper-3.4.8/ worker2:~/

并在相同 dataDir 下创建 data 文件夹 和 myid 文件
注:worker1 的 myid 文件内容为 1,worker2 的 myid 文件内容为 2

# 登录 worker1
[jiecxy@worker1 ~]$ mkdir /tmp/zookeeper/data/
[jiecxy@worker1 ~]$ touch /tmp/zookeeper/myid
[jiecxy@worker1 ~]$ echo 1 > /tmp/zookeeper/myid
# 登录 worker2
[jiecxy@worker2 ~]$ mkdir /tmp/zookeeper/data/
[jiecxy@worker2 ~]$ touch /tmp/zookeeper/myid
[jiecxy@worker2 ~]$ echo 2 > /tmp/zookeeper/myid



6. 关闭防火墙

# 关闭防火墙
service iptables stop 
# 启动防火墙
service iptables start 
# 重启防火墙
service iptables restart 
# 查看防火墙状态
service iptables status 
# 永久关闭防火墙
chkconfig iptables off 
# 永久关闭后启用
chkconfig iptables on



二、 安装Kafka



1. 下载 kafka_2.11-0.10.0.1.tar.gz


2. 在 master 节点上安装 kafka(一个broker)
解压安装包

# 在master节点上
[jiecxy@master ~]$ tar -xzvf kafka_2.11-0.10.0.1.tar.gz



3. 修改 server.properties

# 在master节点上
[jiecxy@master ~]$ cd kafka_2.11-0.10.0.1/config/
[jiecxy@master config]$ vi server.properties

修改内容如下:

...
# master为0
broker.id=0    
...
# 连接
zookeeper.connect=master:2181,worker1:2181,worker2:2181
# 可删除topic
delete.topic.enable=true
...



4. 将 kafka_2.11-0.10.0.1 文件夹复制到另外两个节点下

# 在master节点上
[jiecxy@master ~]$ scp -r kafka_2.11-0.10.0.1/ worker1:~/
[jiecxy@master ~]$ scp -r kafka_2.11-0.10.0.1/ worker2:~/

并修改每个节点对应的 server.properties 文件的 broker.id: master为0,worker1为1,worker2为2


三、 启动集群和测试



注:启动时:先启动 zookeeper,后启动 kafka;关闭时:先关闭 kafka,后关闭zookeeper


1. 分别在每个节点上启动 zookeeper

# 在master节点上
[jiecxy@master zookeeper-3.4.8]$ bin/zkServer.sh start

# 在worker1节点上
[jiecxy@worker1 zookeeper-3.4.8]$ bin/zkServer.sh start

# 在worker2节点上
[jiecxy@worker2 zookeeper-3.4.8]$ bin/zkServer.sh start



2. 验证 zookeeper 集群

# 在master节点上
[jiecxy@master zookeeper-3.4.8]$ bin/zkServer.sh status

# 在worker1节点上
[jiecxy@worker1 zookeeper-3.4.8]$ bin/zkServer.sh status

# 在worker2节点上
[jiecxy@worker2 zookeeper-3.4.8]$ bin/zkServer.sh status

显示结果为:有一个是 leader,剩下的都是 follower
验证

验证2

验证3


3. 启动 Kafaka 集群

# 在master节点上
[jiecxy@master kafka_2.11-0.10.0.1]$ bin/kafka-server-start.sh config/server.properties &

# 在worker1节点上
[jiecxy@worker1 kafka_2.11-0.10.0.1]$ bin/kafka-server-start.sh config/server.properties &

# 在worker2节点上
[jiecxy@worker2 kafka_2.11-0.10.0.1]$ bin/kafka-server-start.sh config/server.properties &



4. 测试
创建 topic 和 显示 topic 信息

# 在master节点上 创建topic
[jiecxy@master kafka_2.11-0.10.0.1]$ bin/kafka-topics.sh --create --zookeeper master:2181,worker1:2181,worker2:2181 --replication-factor 3 --partitions 3 --topic test

创建topic

# 在master节点上 显示topic信息
[jiecxy@master kafka_2.11-0.10.0.1]$ bin/kafka-topics.sh --describe --zookeeper master:2181,worker1:2181,worker2:2181 --topic test

显示

# 在master节点上 列出topic
[jiecxy@master kafka_2.11-0.10.0.1]$ bin/kafka-topics.sh --list --zookeeper master:2181,worker1:2181,worker2:2181

列出


创建 producer

# 在master节点上 测试生产消息
[jiecxy@master kafka_2.11-0.10.0.1]$ bin/kafka-console-producer.sh --broker-list master:9092 -topic test

producer


创建 consumer

# 在master节点上 测试消费
[jiecxy@master kafka_2.11-0.10.0.1]$ bin/kafka-console-consumer.sh --zookeeper master:2181,worker1:2181,worker2:2181 -topic test --from-beginning

# 在worker1节点上 测试消费
[jiecxy@worker1 kafka_2.11-0.10.0.1]$ bin/kafka-console-consumer.sh --zookeeper master:2181,worker1:2181,worker2:2181 -topic test --from-beginning

# 在worker2节点上 测试消费
[jiecxy@worker2 kafka_2.11-0.10.0.1]$ bin/kafka-console-consumer.sh --zookeeper master:2181,worker1:2181,worker2:2181 -topic test --from-beginning

然后在 producer 里输入消息,consumer 中就会显示出同样的内容,表示消费成功
consumer


5. 删除 topic 和关闭服务

# 在master节点上 删除topic
[jiecxy@master kafka_2.11-0.10.0.1]$ bin/kafka-topics.sh --delete --zookeeper master:2181,worker1:2181,worker2:2181 --topic test

关闭

# 在master节点上 关闭kafka
[jiecxy@master ~]$ ./kafka_2.11-0.10.0.1/bin/kafka-server-stop.sh
# 在worker1节点上 关闭kafka
[jiecxy@worker1 ~]$ ./kafka_2.11-0.10.0.1/bin/kafka-server-stop.sh
# 在worker2节点上 关闭kafka
[jiecxy@worker2 ~]$ ./kafka_2.11-0.10.0.1/bin/kafka-server-stop.sh

# 在master节点上 关闭zookeeper
[jiecxy@master ~]$ ./zookeeper-3.4.8/bin/zkServer.sh stop
# 在worker1节点上 关闭zookeeper
[jiecxy@worker1 ~]$ ./zookeeper-3.4.8/bin/zkServer.sh stop
# 在worker2节点上 关闭zookeeper
[jiecxy@worker2 ~]$ ./zookeeper-3.4.8/bin/zkServer.sh stop
0
0
查看评论

Kafka集群搭建详细步骤

Kafka集群搭建 1、 Kafka的安装需要java环境,cent os 7自带java1.6版本,可以不用重新安装,直接使用自带的jdk 即可;如果觉得jdk版本太旧,也可以自己重新安装; 2、 准备好kafka安装包,官网下载地址: ...
  • zxy987872674
  • zxy987872674
  • 2017-05-18 16:45
  • 11561

Kafka学习总结(五)——Kafka集群搭建

详细的kafka集群搭建步骤
  • gongxinju
  • gongxinju
  • 2016-11-30 22:59
  • 10500

kafka集群环境搭建

今在完成 storm集群搭建之后,希望集成 kafka。 此文记录搭建的过程。 storm集群搭建可以看  http://blog.csdn.net/ch717828/article/details/50718783 1. 机器准备 我准备了3台机器 ,分别是 ...
  • ch717828
  • ch717828
  • 2016-02-26 13:10
  • 3398

kafka集群环境搭建

转自:http://blog.csdn.net/ch717828/article/details/50748872 今在完成 storm集群搭建之后,希望集成 kafka。 此文记录搭建的过程。 storm集群搭建可以看  http://blog.csdn.ne...
  • guolong1983811
  • guolong1983811
  • 2017-10-18 21:59
  • 374

Kafka详解二、如何配置Kafka集群

Kafka集群配置比较简单,为了更好的让大家理解,在这里要分别介绍下面三种配置 单节点:一个broker的集群单节点:多个broker的集群多节点:多broker集群 一、单节点单broker实例的配置 1.首先启动zookeeper服务      Kafka提供...
  • suifeng3051
  • suifeng3051
  • 2014-07-31 17:39
  • 26280

CentOS7上部署搭建Kafka集群

CentOS7上部署搭建Kafka集群 在三个主机节点上进行部署。 cfkafka1:192.168.2.174 cfkafka2:192.168.2.175 cfkafka3:192.168.2.176 1.虚拟机配置 2:主机名修改和网络配置 静态主机名修改方法: ...
  • qq_21349669
  • qq_21349669
  • 2017-12-15 18:20
  • 261

kafka集群环境搭建

kafka集群测试环境搭建全记录。
  • fang_sh_lianjia
  • fang_sh_lianjia
  • 2016-08-15 14:36
  • 3004

Kafka之——集群搭建

一、Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。 1、软件环境 (3台服务器-我的测试) 192.168.7.100 server1 192.168.7.101 server2 192.168.7.107 server3 1-1...
  • l1028386804
  • l1028386804
  • 2017-10-28 13:00
  • 502

搭建Kafka集群环境

计划使用三台主机:11.12.112.206、11.12.112.207、11.12.112.208搭建Kafka集群环境,使用的zookeeper集群为:11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181并且zookeeper集群已经启...
  • hjx_1000
  • hjx_1000
  • 2016-09-09 17:47
  • 704

kafka集群配置启动及编程

kafka集群配置启动及编程 1.      说明 本文描述在同一台机器上配置3个zookeeper节点,3个kafka节点的方法。本文描述的集群搭建方式,基于windows系统,其他操作系统类似。   2.  ...
  • lihancheng
  • lihancheng
  • 2016-07-03 21:27
  • 4516
    个人资料
    • 访问:27891次
    • 积分:564
    • 等级:
    • 排名:千里之外
    • 原创:21篇
    • 转载:1篇
    • 译文:0篇
    • 评论:1条
    文章分类