Kafka 教程（二）集群搭建和容错性测试

最新推荐文章于 2024-08-17 19:52:53 发布

weixin_34314962

最新推荐文章于 2024-08-17 19:52:53 发布

阅读量350

点赞数

文章标签：大数据 python 操作系统

原文链接：https://my.oschina.net/mrpei123/blog/1929200

版权

2019独角兽企业重金招聘Python工程师标准>>>

在之前我们已经安装过kafka，我们直接进行单机多broker搭建。kafka安装请参考：kafka 教程（一）第一个实例

为后续方便我们统一使用hadoop001作为本台机器的主机名,并修改hosts将主机名指向127.0.0.1

hostname hadoop001
echo hadoop001 > /proc/sys/kernel/hostname

echo 127.0.0.1 hadoop001 >> /etc/hosts

一：安装zookeeper

1.下载解压zookeeper，使用cdh5.7.0版本对应的zookeeper-3.4.5

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
tar -zxvf zookeeper-3.4.5.tar.gz

2.进入zookeeper conf目录复制一份配置文件模板zoo_sample.cfg并命名为zoo.cfg

cd zookeeper-3.4.5/conf
cp zoo_sample.cfg zoo.cfg

3.编辑配置文件

修改zookeeper数据目录为：/usr/server/tmp/zookeeper，由于我们只启动单节点的zookeeper 所以端口不需要修改。

# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/usr/server/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.

4.启动zookeeper

cd ../bin
./zkServer.sh start

打印如下信息可以看到启动成功

JMX enabled by default
Using config: /usr/server/zookeeper-3.4.5/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

使用jps或者jps -m查看

jps -m
-------------------------
12867 Jps -m
12838 QuorumPeerMain /usr/server/zookeeper-3.4.5/bin/../conf/zoo.cfg

至此zookeeper安装启动成功。

二：kafka集群搭建

1.进入kafka目录的config文件夹，复制并修改配置文件，这里需要修改的位置有三个：

broker.id=1

listeners=PLAINTEXT://:9093

log.dirs=/tmp/kafka-logs-1

broker.id为broker的唯一标识，使用唯一的id，修改端口号和指定不同的日志输出地址

我们创建三个broker，server.porperties文件复制三份，分别命名为：server-1.porperties，server-2.porperties，server-3.porperties

cp server.properties server-1.properties 
cp server.properties server-2.properties 
cp server.properties server-3.properties

结果如下图所示：

2.依次编辑并修改server-1.porperties，server-2.porperties，server-3.porperties三个文件，id分别设为：1,2,3，端口分别为：9093,9094,9095，日志路径为：/usr/server/tmp/kafka/kafka-logs-1,/usr/server/tmp/kafka/kafka-logs-2,/usr/server/tmp/kafka/kafka-logs-3


# The id of the broker. This must be set to a unique integer for each broker.
broker.id=1

############################# Socket Server Settings #############################

listeners=PLAINTEXT://:9093

# The port the socket server listens on
#port=9092

# Hostname the broker will bind to. If not set, the server will bind to all interfaces
#host.name=localhost

############################# Log Basics #############################

# A comma seperated list of directories under which to store log files
log.dirs=/usr/server/tmp/kafka/kafka-logs-1

后两个文件类似，此处不在复述。

3.分别以三份配置文件启动三个broker，实现单机多broker集群

回到kafka根目录执行如下命令

./bin/kafka-server-start.sh config/server-1.properties &
./bin/kafka-server-start.sh config/server-2.properties &
./bin/kafka-server-start.sh config/server-3.properties &

命令后加 & 表示输出启动日志到控制台以后台方式启动，也可以使用 nohup [cmd] & 完全后台运行，后台运行的方式可以参考：Linux 后台运行程序 nohup和& 的使用

执行后使用 jps -m命令查看：

[root@hadoop001 kafka_2.11-0.9.0.0]# jps -m

13219 Kafka config/server-1.properties
12838 QuorumPeerMain /usr/server/zookeeper-3.4.5/bin/../conf/zoo.cfg
13334 Kafka config/server-3.properties
13401 Jps -m
13277 Kafka config/server-2.properties

可以看到已经启动的三个broker

至此单机多broker集群配置完成，多机多集群可以参考单机多broker类似

三：容错测试

1.先创建一个topic

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic hello-mrpei

提示：

Created topic "hello-mrpei".

成功的创建了一个名称为“hello-mrpei”的topic

下面我们查看一下这个topic的相关信息

./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic hello-mrpei

可以看到如下信息：

Topic:hello-mrpei	PartitionCount:1	ReplicationFactor:3	Configs:
	Topic: hello-mrpei	Partition: 0	Leader: 2	Replicas: 2,1,3	Isr: 2,1,3

topic名称分区数为：1 副本数为：3 leader节点为：2 副本为 :2,,1,3 存活的副本：2,1,3

2.创建控制台生成者和消费者生成和消费消息

启动一个新的终端，创建生产者producer，向hello-mrpei topic写数据

./bin/kafka-console-producer.sh --broker-list hadoop001:9093 --topic hello-mrpei

创建消费者，消费hello-mrpei topic的消息

启动一个新的终端，进入kafka目录，启动控制台消费者

./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic hello-mrpei

--from-beginning表示消费历史消息

发送可接收消息正常

发送：

接收：

3.容错测试

通过强制终止部分broker进程，查看kafka的稳定性。

首先查看当前topic的信息：

[root@hadoop001 kafka_2.11-0.9.0.0]# ./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic hello-mrpei
Topic:hello-mrpei	PartitionCount:1	ReplicationFactor:3	Configs:
	Topic: hello-mrpei	Partition: 0	Leader: 2	Replicas: 2,1,3	Isr: 2,1,3

通过jps -m查看当前运行的kafka进程

[root@hadoop001 kafka_2.11-0.9.0.0]# jps -m
13649 Kafka config/server-2.properties
13939 ConsoleConsumer --zookeeper localhost:2181 --from-beginning --topic hello-mrpei
14004 ConsoleProducer --broker-list localhost:9093 --topic hello-mrpei
12838 QuorumPeerMain /usr/server/zookeeper-3.4.5/bin/../conf/zoo.cfg
13706 Kafka config/server-3.properties
14026 Jps -m
13484 Kafka config/server-1.properties

使用kill命令结束进程号为13484的broker节点1

kill -9 13484

jps -m查看到broker 1 已经结束

[root@hadoop001 kafka_2.11-0.9.0.0]# jps -m
13649 Kafka config/server-2.properties
13939 ConsoleConsumer --zookeeper localhost:2181 --from-beginning --topic hello-mrpei
14004 ConsoleProducer --broker-list localhost:9093 --topic hello-mrpei
12838 QuorumPeerMain /usr/server/zookeeper-3.4.5/bin/../conf/zoo.cfg
14089 Jps -m
13706 Kafka config/server-3.properties
[root@hadoop001 kafka_2.11-0.9.0.0]#

查看topic信息:

[root@hadoop001 kafka_2.11-0.9.0.0]# ./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic hello-mrpei
Topic:hello-mrpei	PartitionCount:1	ReplicationFactor:3	Configs:
	Topic: hello-mrpei	Partition: 0	Leader: 2	Replicas: 2,1,3	Isr: 2,3

可以看到 Isr 存活的节点为：2,3

发送消息测试

生产者：

消费者：

可以发现可以正常消费

现在我们再次结束一个broker进程，这次选择结束leader节点，即节点 2

jps -m查看进程

[root@hadoop001 kafka_2.11-0.9.0.0]# jps -m
13649 Kafka config/server-2.properties
13939 ConsoleConsumer --zookeeper localhost:2181 --from-beginning --topic hello-mrpei
14004 ConsoleProducer --broker-list localhost:9093 --topic hello-mrpei
12838 QuorumPeerMain /usr/server/zookeeper-3.4.5/bin/../conf/zoo.cfg
13706 Kafka config/server-3.properties
14124 Jps -m

结束节点 2

kill -9 13649
jps -m

------------
13939 ConsoleConsumer --zookeeper localhost:2181 --from-beginning --topic hello-mrpei
14004 ConsoleProducer --broker-list localhost:9093 --topic hello-mrpei
14148 Jps -m
12838 QuorumPeerMain /usr/server/zookeeper-3.4.5/bin/../conf/zoo.cfg
13706 Kafka config/server-3.properties

查看topic信息：

[root@hadoop001 kafka_2.11-0.9.0.0]# ./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic hello-mrpei
Topic:hello-mrpei	PartitionCount:1	ReplicationFactor:3	Configs:
	Topic: hello-mrpei	Partition: 0	Leader: 3	Replicas: 2,1,3	Isr: 3

可以看到 Isr 存活的节点只剩下节点3，此时leader已经变为节点3，此次省去选举过程介绍。

消费测试：

生产者：