kafka_2.11-0.10.1.1集群搭建安装配置

在搭建kafka集群之前，请保证zookeeper已安装。

1、下载

官网下载链接： http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.1.1/kafka_2.11-0.10.1.1.tgz

2、解压、移动

tar -zxvf kafka_2.11-0.10.1.1.tgz

mv kafka_2.11-0.10.1.1 /usr/tools/

3、配置环境变量,各个节点都需要配置

vi /etc/profile

#set kafka

export KAFKA_HOME=/usr/tools/kafka_2.11-0.10.1.1

export PATH=KAFKA_HOME/bin:$PATH

使用环境变量生效

source /etc/profile

4、配置 server.properties

cd /usr/tools/kafka_2.11-0.10.1.1/config //安装目录

vi server.properties

（1）、配置 broker 的ID

broker.id=1 //第一个kafka配置为 1，第二个配置为2，以此类推

（2）、打开监听端口

listeners=PLAINTEXT://192.168.2.10:9092 //尽量写ip地址，以免造成错误

（3）、修改 log 的目录、在指定的位置创建好文件夹logs

log.dirs=/usr/local/kafka/logs

（4）、修改 zookeeper.connect

尽量写ip地址，以免造成错误

zookeeper.connect=master:2181,slave1:2181,slave2:2181,slave3:2181

（5）、网络线程数量

num.network.threads=3

（6）Zookeeper每6秒监视kafka是否还活着

zookeeper.connection.timeout.ms=6000（默认）

5、拷贝配置好的kafka文件到子节点服务器，然后修改broker.id的值，以及监听端口需要修改listeners

scp -r /usr/tools/kafka_2.11-0.10.1.1 root@slave1:/usr/tools/

6、启动kafka之前需启动zookeeper，然后启动kafka，各个节点需单独启动

进入kafka安装目录：cd /usr/tools/kafka_2.11-0.10.1.1

启动命令：

cd /usr/tools/kafka_2.11-0.10.1.1

打印日志:

./bin/kafka-server-start.sh config/server.properties

不打印日志:

./bin/kafka-server-start.sh -daemon config/server.properties

7、检查kafka是否启动成功，通过jps查看jps是否启动成功

8,、通过创建一个topic（名字为test）来测试是否能成功运行，随便选择一个节点运行

在bin目录下

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

9.列出kafka： kafka-topics.sh --list -zookeeper 192.168.2.10:2181

Created topic test.

出现这个即表示创建test成功

关于topic

1.创建一个test 的topic命令：

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

2.查看列出一下topic是否创建好

kafka-topics.sh --list -zookeeper 192.168.2.10:2181

3.以生产身份对topic进行广播

./bin/kafka-console-producer.sh --broker-list 192.168.2.10:9092 --topic test

4.集群其他节点以顾客身份进行访问

./bin/kafka-console-consumer.sh --zookeeper 192.168.2.11:2181 --from-beginning --topic test

连接上后，producer发送任何消息，consumer都能实时接收到