第四章 kafka环境搭建

15 篇文章 0 订阅
6 篇文章 0 订阅

kafka环境搭建

目录

kafka环境搭建... 1

一、机器准备... 1

二、下载安装包... 1

三、安装zookeeper. 1

四、kafka配置... 2

五、启动 zookeeper 和 Kafka 服务... 3

 

 

 

 

一、机器准备

         三机互联,ssh免密登陆

         192.168.6.181

         192.168.6.182

         192.168.6.183

二、下载安装包

         kafka_2.12-1.1.0.tgz

三、安装zookeeper

         机器:192.168.6.178192.168.6.179192.168.6.180

         1zoo.cfg【三台机器配置基本相同 clientPort不相同】

         mkdir data

         mkdir logs

 

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/hadoop/zookeeper-3.4.12/data

dataLogDir=/hadoop/zookeeper-3.4.12/logs

clientPort=2181

server.0=192.168.6.178: 2888:3888

server.1=192.168.6.179: 2888:3888

server.2=192.168.6.180: 2888:3888

 

        

        

 

 

 

 

 

 

 

 

 

这些配置项的解释如下:

  • tickTimezookeeper 服务器之间的心跳时间间隔,以毫秒为单位。
  • dataDirzookeeper 的数据保存目录,我们也把 zookeeper 服务器的 ID 文件保存到这个目录下。
  • clientPortzookeeper 服务器会监听这个端口,然后等待客户端连接。
  • initLimitzookeeper 集群中 follower 服务器和 leader 服务器之间建立初始连接时所能容忍的心跳次数的极限值。
  • syncLimitzookeeper 集群中 follower 服务器和 leader 服务器之间请求和应答过程中所能容忍的心跳次数的极限值。
  • server.NN 代表的是 zookeeper 集群服务器的编号。对于配置值,以 192.168.1.1:2888:3888 为例,192.168.1.1 表示该服务器的 IP 地址,2888 端口表示该服务器与 leader 服务器的数据交换端口,3888 表示选举新的 leader 服务器时候用到的通信端口。

四、kafka配置

         机器:192.168.6.181192.168.6.182192.168.6.183

         1、编辑 config/server.properties 文件【broker.id每台机都有改变】

 

broker.id=0

port=9092

host.name=192.168.1.1

zookeeper.contact=192.168.6.181:2181, 192.168.6.182:2181,192.168.6.183:2181

log.dirs=/hadoop/zookeeper-3.4.12/logs

 

        

 

 

 

 

 

这些配置项解释如下:

  • broker.idKafka broker 的唯一标识,集群中不能重复。
  • port: Broker 的监听端口,用于监听 Producer 或者 Consumer 的连接。
  • host.name:当前 Broker 服务器的 IP 地址或者机器名。
  • zookeeper.contact:Broker 作为 zookeeper client,可以连接的 zookeeper 的地址信息。
  • log.dirs:日志保存目录。

2编辑 config/producer.properties 文件

 

 
 

broker.list=192.168.6.181:9092, 192.168.6.182:9092,192.168.6.183:9092

producer.type=async

 

 

 

 

 

这些配置项解释如下:

  • broker.list:集群中 Broker 地址列表。
  • producer.type: Producer 类型,async 异步生产者,sync 同步生产者。

3、 编辑 config/consumer.properties 文件

 

 
 

zookeeper.contact=192.168.6.181:2181, 192.168.6.182:2181, 192.168.6.183:2181

 

 

配置项解释如下:

  • zookeeper.contact: Consumer 可以连接的 zookeeper 服务器地址列表。

4、将安装包拷贝到其余两台机器之上

scp  -r root@192.168.6.181:/目录 /目录

我们需要到 192.168.6.179 192.168.6.180 两台机器上解压刚才上传的 tar 包,命令如清单一。之后需要分别在两台机器上修改 config/server.properties 文件中的 broker.id host.name. broker.id,可以分别复制 1 2host.name 需要改成当前机器的 IP

五、启动 zookeeper 和 Kafka 服务

         1、启动zookeeper

                   zookeeper-server-start.sh config/zookeeper.properties &

         2、启动kafka

                   kafka-server-start.sh config/server.properties &
六、验证集群

         1查看 Kafka zookeeper 服务进程

       ps –ef | grep kafka

                   ps –ef | grep zookeeper

         2、创建消息主题,并通过 console producer console consumer 验证消息可以被正常的生产和消费

 

 

 
 

kafka-topics.sh --create \

--replication-factor 3 \

--partition 3 \

--topic user-behavior-topic \

--zookeeper 192.168.6.178:2181, 192.168.6.179:2181, 192.168.6.180:2181

 

        

 

 

 

 

3、启动 Console Producer

 

 
 

kafka-console-producer.sh --broker-list 192.168.6.183:9092 --topic user-behavior-topic

 

 

 

在另一台机器打开 console consumer

4启动 Console Consumer

 

 
 

kafka-console-consumer.sh --zookeeper 192.168.6.178:2181 --topic user-behavior-topic --from-beginning

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值