五.Spark Streaming之kafka单节点多broker部署及使用(二)

一.引言
    对于Kafka，一个代理只是一个大小为1的集群，所以除了启动更多的代理实例之外，不会有什么变化。但是为了了解它，让我们将集群扩展到三个节点(仍然都在本地机器上)。

二.单节点多Broker部署及使用
具体的环境搭建配置请点击环境搭建参考

第一步.复制server.properties为:

server-1.properties
server-2.properties
server-3.properties	

第二步.修改其中的配置文件:

server-1.properties:

broker.id = 1
listeners=PLAINTEXT://:9093
log.dirs=/root/data/tmp/kafka-logs-1

server-2.properties:

broker.id = 2
listeners=PLAINTEXT://:9094
log.dirs=/root/data/tmp/kafka-logs-2

server-3.properties

broker.id = 3
listeners=PLAINTEXT://:9095
log.dirs=/root/data/tmp/kafka-logs-3

第三步.分别启动:

kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties &

kafka-server-start.sh -daemon $KAFKA_HOME/config/server-2.properties &

kafka-server-start.sh -daemon $KAFKA_HOME/config/server-3.properties &

-damon : 是以后台的方式启动,即便启动页面关了也不影响

第四步. 创建topic:

kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

创建完成之后查看注册中心:

kafka-topics.sh --list --zookeeper hadoop000:2181

显示结果如下:

查看详细信息:

kafka-topics.sh --describe --zookeeper hadoop000:2181

显示结果:

解释:
“leader”是负责给定分区的所有读取和写入的节点。每个节点将成为随机选择的分区部分的领导者。
“replicas”是复制此分区日志的节点列表，无论它们是否为领导者，或者即使它们当前处于活动状态。
“isr”是“同步”复制品的集合。这是副本列表的子集，该列表当前处于活跃状态并且已经被领导者捕获。

第五步.发送消息:

kafka-console-producer.sh --broker-list hadoop000:9093,hadoop000:9094,hadoop000:9095 --topic my-replicated-topic

然后在发送消息界面中输入内容,生产出消息供消费者消费消息:

第六步.消费消息:

kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic my-replicated-topic

消费名为my-replicated-topic的topic,检查控制台是否有相应的输出:

至此就完成了kafka单节点多broker的部署及使用。

今天周一,心情不知道为什么有点烦,让我想起了一句话"自古圣贤皆寂寞",人生漫漫唯有忙碌使我快乐。