kafka 集群_单机版kafka集群部署

前言

分布式消息队列是大型分布式系统不可缺少的中间件，主要解决应用耦合、异步消息、流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。

今天跟大家讲解下如何部署单机Kafka集群，希望大家喜欢。

Kafka是什么？

Kafka 是由 LinkedIn 开发的一个分布式的消息系统，使用 Scala 编写，它以可水平扩展和高吞吐率而被广泛使用。

它的特点：

它同时为发布和订阅提供高吞吐量；它支持多订阅者，当失败时能自动平衡消费者；它将消息持久化到磁盘，因此可用于批量消费。

Kafka概念

说到Kafka，自然离不开三个专业术语：生产者(Producer)、消费者(Consumer)、主题(Topic)。

专业术语

我们再来看这个图，大致会有一定的了解了。

了解了一些基本知识，下面开始讲解下如何部署。

部署环境

本次是以CentOS6 环境为例子，介绍下如何快速搭建。

官网下载地址

https://archive.apache.org/dist/kafka/

这里我以2.1.0版本为例

https://archive.apache.org/dist/kafka/2.1.0/kafka_2.12-2.1.0.tgz

部署zookeeper

这里不展开描述，有兴趣的可以参考我之前写的文章：中间件-简单部署zookeeper

部署kafka

• 新建独立目录

$ pwd/opt/testerzhang/3rd/kafka2.1

• 解压包,并重命名文件夹名

$ tar zxf kafka_2.12-2.1.0.tgz$ mv kafka_2.12-2.1.0 kafka1

• 每个节点配置文件配置节点1

$ vi  kafka1/config/server.properties# 每个节点值不一样broker.id=10# 端口地址port=9110#配置当前主机hostname，也可以IPhost.name=10.10.10.10#配置对应的zookeepr地址zookeeper.connect=10.10.10.10:15001,10.10.10.10:15002,10.10.10.10:15003#在配置集群的时候，必须设置listeners = PLAINTEXT://10.10.10.10:9110#存放log目录log.dirs=/opt/testerzhang/3rd/kafka2.1/data/kafka1-log

• 节点2

$ cp -rf kafka1 kafka2$ vi  kafka2/config/server.properties# 每个节点值不一样broker.id=11# 端口地址port=9111#配置当前主机hostname，也可以IPhost.name=10.10.10.10#配置对应的zookeepr地址zookeeper.connect=10.10.10.10:15001,10.10.10.10:15002,10.10.10.10:15003#在配置集群的时候，必须设置listeners = PLAINTEXT://10.10.10.10:9111#存放log目录log.dirs=/opt/testerzhang/3rd/kafka2.1/data/kafka2-log

• 节点3

$ cp -rf kafka1 kafka3$ vi  kafka3/config/server.properties# 每个节点值不一样broker.id=12# 端口地址port=9112#配置当前主机hostname，也可以IPhost.name=10.10.10.10#配置对应的zookeepr地址zookeeper.connect=10.10.10.10:15001,10.10.10.10:15002,10.10.10.10:15003#在配置集群的时候，必须设置listeners = PLAINTEXT://10.10.10.10:9112#存放log目录log.dirs=/opt/testerzhang/3rd/kafka2.1/data/kafka3-log

• 启动方法

$ cd /opt/testerzhang/3rd/kafka2.1/kafka1/bin$ nohup sh ./kafka-server-start.sh ../config/server.properties &

这样，单机版Kafka集群搭建完毕，开始玩起来吧。

下次跟大家分享下如何可视化操作Kafka，敬请期待。

---

我是testerzhang，喜欢本文的童鞋，可以关注我+收藏，不明白的地方也可以评论留言。