第四章 kafka环境搭建

kafka环境搭建

目录

kafka环境搭建... 1

一、机器准备... 1

二、下载安装包... 1

三、安装zookeeper. 1

四、kafka配置... 2

五、启动 zookeeper 和 Kafka 服务... 3

 

 

 

 

一、机器准备

         三机互联，ssh免密登陆

         192.168.6.181

         192.168.6.182

         192.168.6.183

二、下载安装包

         kafka_2.12-1.1.0.tgz

三、安装zookeeper

         机器：192.168.6.178、192.168.6.179、192.168.6.180

         1、zoo.cfg【三台机器配置基本相同 clientPort不相同】

         mkdir data

         mkdir logs

 

tickTime=2000 initLimit=10 syncLimit=5 dataDir=/hadoop/zookeeper-3.4.12/data dataLogDir=/hadoop/zookeeper-3.4.12/logs clientPort=2181 server.0=192.168.6.178: 2888:3888 server.1=192.168.6.179: 2888:3888 server.2=192.168.6.180: 2888:3888

        

        

 

 

 

 

 

 

 

 

 

这些配置项的解释如下:

• tickTime：zookeeper 服务器之间的心跳时间间隔，以毫秒为单位。
• dataDir：zookeeper 的数据保存目录，我们也把 zookeeper 服务器的 ID 文件保存到这个目录下。
• clientPort：zookeeper 服务器会监听这个端口，然后等待客户端连接。
• initLimit：zookeeper 集群中 follower 服务器和 leader 服务器之间建立初始连接时所能容忍的心跳次数的极限值。
• syncLimit：zookeeper 集群中 follower 服务器和 leader 服务器之间请求和应答过程中所能容忍的心跳次数的极限值。
• server.N：N 代表的是 zookeeper 集群服务器的编号。对于配置值，以 192.168.1.1:2888:3888 为例，192.168.1.1 表示该服务器的 IP 地址，2888 端口表示该服务器与 leader 服务器的数据交换端口，3888 表示选举新的 leader 服务器时候用到的通信端口。

四、kafka配置

         机器：192.168.6.181、192.168.6.182、192.168.6.183

         1、编辑 config/server.properties 文件【broker.id每台机都有改变】

 

broker.id=0 port=9092 host.name=192.168.1.1 zookeeper.contact=192.168.6.181:2181, 192.168.6.182:2181,192.168.6.183:2181 log.dirs=/hadoop/zookeeper-3.4.12/logs

        

 

 

 

 

 

这些配置项解释如下：

• broker.id：Kafka broker 的唯一标识，集群中不能重复。
• port: Broker 的监听端口，用于监听 Producer 或者 Consumer 的连接。
• host.name:当前 Broker 服务器的 IP 地址或者机器名。
• zookeeper.contact:Broker 作为 zookeeper 的 client，可以连接的 zookeeper 的地址信息。
• log.dirs：日志保存目录。

2、编辑 config/producer.properties 文件

 

	broker.list=192.168.6.181:9092, 192.168.6.182:9092,192.168.6.183:9092 producer.type=async

 

 

 

 

这些配置项解释如下：

• broker.list：集群中 Broker 地址列表。
• producer.type: Producer 类型,async 异步生产者，sync 同步生产者。

3、 编辑 config/consumer.properties 文件

 

	zookeeper.contact=192.168.6.181:2181, 192.168.6.182:2181, 192.168.6.183:2181

 

 

配置项解释如下：

• zookeeper.contact: Consumer 可以连接的 zookeeper 服务器地址列表。

4、将安装包拷贝到其余两台机器之上

scp  -r root@192.168.6.181:/目录 /目录

我们需要到 192.168.6.179 和 192.168.6.180 两台机器上解压刚才上传的 tar 包，命令如清单一。之后需要分别在两台机器上修改 config/server.properties 文件中的 broker.id 和 host.name. broker.id，可以分别复制 1 和 2，host.name 需要改成当前机器的 IP。

五、启动 zookeeper 和 Kafka 服务

         1、启动zookeeper

                   zookeeper-server-start.sh config/zookeeper.properties &

         2、启动kafka

                   kafka-server-start.sh config/server.properties &
六、验证集群

         1、查看 Kafka 和 zookeeper 服务进程

       ps –ef | grep kafka

                   ps –ef | grep zookeeper

         2、创建消息主题，并通过 console producer 和 console consumer 验证消息可以被正常的生产和消费

 

 

	kafka-topics.sh --create \ --replication-factor 3 \ --partition 3 \ --topic user-behavior-topic \ --zookeeper 192.168.6.178:2181, 192.168.6.179:2181, 192.168.6.180:2181

 

        

 

 

 

 

3、启动 Console Producer

 

	kafka-console-producer.sh --broker-list 192.168.6.183:9092 --topic user-behavior-topic

 

 

 

在另一台机器打开 console consumer

4、启动 Console Consumer

 

	kafka-console-consumer.sh --zookeeper 192.168.6.178:2181 --topic user-behavior-topic --from-beginning