kafka 0.9.0.1 集群安装, 主题消息测试 (一)

最新推荐文章于 2021-08-18 20:48:45 发布

Jamin_Ma

最新推荐文章于 2021-08-18 20:48:45 发布

阅读量1.8k

点赞数

分类专栏： kafka 文章标签： kafka

本文链接：https://blog.csdn.net/convict_eva/article/details/55509410

版权

本文详细介绍了如何在Kafka 0.9.0.1版本上安装集群，包括配置JDK和Zookeeper，集群服务器分配，Kafka的安装与配置，以及启动和停止服务的方法。接着，文章讲解了Kafka的基本概念，如Broker、Topic和Partition，并展示了创建、查看、删除主题的操作。最后，通过命令行和Java API进行了消息的发送与接收测试。

摘要由CSDN通过智能技术生成

前置安装：

1、安装jdk1.8(略)

2、安装zookeeper 集群（参考：http://blog.csdn.net/convict_eva/article/details/53219067），我这里只使用了一台zookeeper，多台用逗号分开

服务器分配：

机器ip	安装服务
192.168.254.130	kafka zookeeper
192.168.254.131	kafka
192.168.254.132	kafka

服务器host配置：

/etc/hosts 文件添加如下配置：

192.168.254.130 zookeeper.masz.com
192.168.254.130 a.masz.com
192.168.254.131 b.masz.com
192.168.254.132 c.masz.com

安装：

1、下载kafka（apache.org）

$wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

2、解压：

$tar -zxf kafka_2.11-0.9.0.1.tgz

配置：

1、conf/server.properties

#此Broker的ID，集群中每个Broker的ID不可相同。一般会设置为ip的最后一段
broker.id=0
#监听器，端口号与port一致即可
listeners=PLAINTEXT://:9092
#Broker监听的端口
port=9092
#Broker的Hostname，填主机IP
host.name=192.168.130
#向Producer和Consumer建议连接的Hostname和port。配置文件说明如果不设置使用的是host.name的值，但是没有作用。没有测试，后面java api测试连接不上服务器
advertised.host.name=192.168.254.130
advertised.port=9092

更多参数说明：https://my.oschina.net/infiniteSpace/blog/312890?p=1

把上面的打包，发送到不同的机器。修改server.properties 中的 broker.id 为不同的整数值。

启动kafka 服务（zookeeper要先启动）：

$./bin/kafka-server-start.sh ./config/server.properties &
这样启动后，断开shh连接后kafka 就停止运行了。
使用下面命令行启动：
$./bin/kafka-server-start.sh -daemon ./config/server.properties

说明：

Broker
Kafka集群包含一个或多个服务器，这种服务器被称为broker
Topic
每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个broker上但用户