Java配置32-配置Kafka伪集群

目录

1.服务器环境

2.安装kafka

1）安装前准备

2）修改配置文件

3）启动zookeeper

4）启动kafka

5）测试

---

1.服务器环境

系统版本：Red Hat Enterprise Linux Server release 6.8

2.安装kafka

1）安装前准备

上传安装包，解压至指定目录

创建日志目录和数据目录

sudo mkdir -v {logs1,logs2,logs3}

sudo mkdir -pv zookeeper/{data1,data2,data3,log1,log2,log3}

进入创建的zookeeper的data目录，编辑myid，用于zookeeper集群识别。

此处只写data1，其他两个一样

cd /home/XX/kafkas/zookeeper/data1

sudo vim myid

在文件中添加数字：1

其他两个data中的myid输入的是对应值

2）修改配置文件

本机是安装了三个kafka做的集群，因为都在一台服务器上，所以是伪集群。Kafka是将状态保存在zookeeper中的，所以首先要搭建zookeeper集群。本机使用的zookeeper是kafka自带的。

切至解压目录的config目录下

cd kafka_2.12-1.1.0/config

复制zookeeper的配置文件

sudo cp zookeeper.properties zookeeper1.properties

sudo cp zookeeper.properties zookeeper2.properties

sudo cp zookeeper.properties zookeeper3.properties

复制kafka的配置文件

sudo cp server.properties server1.properties

sudo cp server.properties server2.properties

sudo cp server.properties server3.properties

修改复制的3个zookeeper配置文件，如下图：

dataDir：按照上面创建的目录填写

dataLogDir：增添，值为上面创建的目录

端口号顺延：2182-2184

server值顺延：127.0.0.1-127.0.0.3，如：127.0.0.2:2888:3888

参数说明：

maxClientCnxns：zookeeper为每个IP提供连接的个数

tickTime：这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。

dataDir：顾名思义就是Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里。

clientPort：这个端口就是客户端连接Zookeeper服务器的端口，Zookeeper会监听这个端口，接受客户端的访问请求。

initLimit：这个配置项是用来配置Zookeeper接受客户端（这里所说的客户端不是用户连接Zookeeper服务器的客户端，而是Zookeeper服务器集群中连接到Leader的Follower服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过5个心跳的时间（也就是 tickTime）长度后Zookeeper服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是5*2000=10秒

syncLimit：这个配置项标识Leader与Follower之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是2*2000=4秒

server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的Leader服务器交换信息的端口；D 表示的是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的Zookeeper实例通信端口号不能一样，所以要给它们分配不同的端口号。

 修改复制的3个server.properties文件，如下：

border.id值顺延：1-3

port值顺延：9092-9094

host.name值都为ip

listeners=PLAINTEXT://ip:9092（注意修改）

advertised.listeners=PLAINTEXT://ip:9092（注意修改）

log.dirs=/home/elkuser/kafkas/logs1（logs序号对应）

zookeeper.connect=127.0.0.1:2182,127.0.0.2:2183,127.0.0.3:2184

参数说明：

broker.id：这个id如果部署的是kafka集群，id是不能一样的，可以以节点ip最后一位命名。

port：kafka端口，如果一台机器上面部署了多个kafka实例，需要两个实例端口不一样。

log.dirs：kafka日志文件存放路径，默认是/tmp下的，重启会消失，所以我们更换目录。

zookeeper.connect：这是与zk单机或者集群的连接.

3）启动zookeeper

切至安装目录的bin目录，分别启动3个zookeeper

执行命令：

sudo nohup ./zookeeper-server-start.sh ../config/zookeeper1.properties &

sudo nohup ./zookeeper-server-start.sh ../config/zookeeper2.properties &

sudo nohup ./zookeeper-server-start.sh ../config/zookeeper3.properties &

日志输出在bin目录下的nohup.out文件中

查看日志，没有报错即为启动成功，命令：

#cat nohup.out

4）启动kafka

切至安装目录的bin目录，分别启动3个kafka

执行命令：

sudo nohup ./kafka-server-start.sh ../config/server1.properties &

sudo nohup ./kafka-server-start.sh ../config/server2.properties &

sudo nohup ./kafka-server-start.sh ../config/server3.properties &

日志输出在bin目录下的nohup.out文件中

查看日志，没有报错即为启动成功。

跟踪日志命令：

sudo tail -f nohup.out

5）测试

切至任意一台kafka安装目录

创建topic(3分区，2备份)

sudo bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2182,127.0.0.2:2183,127.0.0.3:2184 --replication-factor 2 --partitions 3 --topic test

查看存在的topic

sudo bin/kafka-topics.sh --zookeeper 127.0.0.1:2182,127.0.0.2:2183,127.0.0.3:2184 --list

创建生产者，往topic中写入消息

sudo bin/kafka-console-producer.sh --broker-list ip:9092,ip:9093,ip:9094 --topic test（注意修改）

创建消费者，查看topic中信息

sudo bin/kafka-console-consumer.sh --bootstrap-server ip:9092,ip:9093,ip:9094 --topic important-logs --from-beginning

上面的命令通过后，可以kill掉一个kafka，然后再重新执行上面命令，若无错误，证明kafka伪集群配置成功。

其他命令：

删除topic

sudo ./kafka-topics.sh --delete --zookeeper 127.0.0.1:2182,127.0.0.2:2183,127.0.0.3:2184 --topic test