kafka伪分布式集群搭建

本文章实在一台虚拟机上搭建的伪分布式的kafka，此操作的kafka是旧版本包含zookeeper的Kafka0.10.2.0的安装包kafka_2.11-0.10.2.0.tgz

文章目录

目录

文章目录

前言

一、做好前提：安装好kafka

二、kafka伪分布式集群步骤

（一）创建相关文件目录

1.在kafka目录内建立一个目录etc

2.将config文件夹中的zookeeper.properties复制到etc文件目录中

3.将config文件夹中的server.properties复制三份至etc文件目录中，分别命名为server-0.properties、server-1.properties、server-2.properties 

(二) 配置三个server-X.properties文件

(三) 启动zookeeper服务器和kafka集群

（四）验证是否建立伪集群---创建消费者和生产者传递消息

总结

---

前言

随着 Kafka 部署数量的增加，基于数据类型分离，安全需求隔离和多数据中心容灾等原因，建议使用多集群方案，但 Kafka 的消息复制机制只能在单个集群里进行，不能在多个集群之间进行。为此 Kafka 提供了一个叫作 MirrorMaker 的工具，可以用它来实现集群间的消息复制。

---

一、做好前提：安装好kafka

目前我已经，访问Kafka官网下载页面（https://kafka.apache.org/downloads）：下载好旧版本包含zookeeper的Kafka0.10.2.0的安装包kafka_2.11-0.10.2.0.tgz，并安装好。

二、kafka伪分布式集群步骤

（一）创建相关文件目录

1.在kafka目录内建立一个目录etc

• 进入kafka目录

  $ cd /usr/local/kafka

• 在此目录下建立一个目录etc

  $ sudo mkdir etc

  

从上面图可以看到以及创建好了 etc 

2.将config文件夹中的zookeeper.properties复制到etc文件目录中

• $ cd /usr/locla/kafka/config    #先进入kafka的config目录中
  $ ls          #查看config目录下的文件有没有zookeeper.properties
  $ sudo mv zookeeper.properties /usr/local/kafka/etc  #将config文件夹中的zookeeper.properties复制到etc文件目录中
  $ cd /usr/local/kafka/etc      #进入etc目录查看此目录有没有zookeeper.properties文件
  $ ls

• 如下图所示：

3.将config文件夹中的server.properties复制三份至etc文件目录中，分别命名为server-0.properties、server-1.properties、server-2.properties 

• $ cd /usr/local/kafka/config    #进入config目录
     #将config文件夹中的server.properties复制第一份到etc并命名server-0.properties
  $ sudo cp server.properties /usr/local/kafka/etc/server-0.properties 
  $ sudo cp server.properties /usr/local/kafka/etc/server-1.properties  #第二份复制命名
  $ sudo cp server.properties /usr/local/kafka/etc/server-2.properties  #第三份复制命名
  $ cd /usr/local/kafka/etc    #进入etc目录查看是否复制成功
  $ ls                 
  

• 如图所示： 

(二) 配置三个server-X.properties文件

• 分别编辑三个broker配置server-X.properties文件中的以下信息：                                                broker.id = X                                                                                                                      listeners = PLAINTEXT://:9092(9093,9094)                                                        log.dirs.=/tmp/kafka-logsX                 

• $ cd /usr/local/kafka/etc
  $ ls    #进入ect界面后查看是否存在server-X.properties文件
  $ sudo vim ../etc/server-0.properties      #编辑server-0.properties文件
  $ sudo vim ../etc/server-1.properties      #编辑server-1.properties文件
  $ sudo vim ../etc/server-0.properties      #编辑server-2.properties文件

  

(三) 启动zookeeper服务器和kafka集群

1. 启动zookeeper 

    $ cd /usr/local/kafka 
    $ ./bin/zookeeper-server-start.sh  etc/zookeeper.properties

   

2. 启动kafka集群

   $ cd /usr/local/kafka
   $ ./bin/kafka-server-start.sh  etc/server-0.properties   
   $ ./bin/kafka-server-start.sh  etc/server-1.properties   #相同路径下，启动新端口操作
   $ ./bin/kafka-server-start.sh  etc/server-2.properties   #相同路径下，启动新端口操作
   

   第一个server-0.properties端口9092成功如图所示，其他也是如此。

3. 启动集群看是否成功

（四）验证是否建立伪集群---创建消费者和生产者传递消息

1. 建立topic   

   $ cd /usr/local/kafka
   $ ./bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic test --partition 3 --replication-factor 2

2.  查看topic   

   $ cd /usr/local/kafka
   $ ./bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test

   

3. 建立生产者  :并在其中输入“world”、"hi"等信息（这些信息自己随意）   

   

4. 建立消费者   ：可以看到生产者哪里输入什么信息，消费者这里就可以接受什么信息

5，最后创建成功 

---

总结

以上就是今天要讲的内容，本文仅仅简单介绍了如何单机下安装kafka伪集群的过程，具体使用我们下期再见~~~~