Kafka集群的安装配置（超详细）

引言

kafka集群依赖于zookeeper集群，kafka集群把topic的信息都交给zookeeper去管理，老版本的kafka集群甚至将消费者的offset都交给zookeeper去管理。所以安装kafka集群前，应该先安装zookeeper集群

目录

 

zookeeper集群的配置

kafka集群的配置

---

zookeeper集群的配置

      <1>解压安装包并重命名

            tar -zxvf zookeeper-3.4.14.tar.gz

            mv zookeeper-3.4.14/ zookeeper

     <2>修改配置文件zoo.cfg

            cp zoo_sample.cfg zoo.cfg

            vim zoo.cfg

    

    dataDir用于配置zookeeper快照日志和事务日志的存储地址

    server.每个节点服务编号=服务器ip地址：集群通信端口：选举端口

    <3>创建data目录和myid文件

          在zookeeper目录下执行如下命令

          

<4>分发到各个节点并修改myid文件为对应的编号

         scp -r zookeeper/ westgis182:bigdata/

         scp -r zookeeper/ westgis183:bigdata/

<5>启动zookeeper服务

         查看各个服务状态：bin/zkServer.sh status

         重启zookeeper服务：bin/zkServer.sh restart

         关闭zookeeper服务：bin/zkServer.sh stop

         启动zookeeper服务：bin/zkServer.sh start

        

       

       

kafka集群的配置

     <1>解压安装包并重命名

           tar -zxvf kafka_2.11-0.11.0.2.tgz

           mv kafka_2.11-0.11.0.2 kafka

    <2>修改配置文件server.properties

          

          修改后的参数为如下图：

          

          其中broker.id每个节点配置一个编号，保证唯一
                 listeners就是主要用来定义Kafka Broker的Listener的配置项
                 advertised.listeners参数的作用就是将Broker的Listener信息发布到Zookeeper

                 log.dirs为日志路径

                 zookeeper为zookeeper集群的地址

   <3>分发到各个节点并修改broker.id、listeners、advertised.listeners为对应值

         scp -r kafka/ westgis182:~/bigdata/

        scp -r kafka/ westgis183:~/bigdata/

   <4>启动kafka服务

       进入kafka安装目录

       bin/kafka-server-start.sh -daemon config/server.properties

       

<5>kafka的一些基本操作

        创建一个名为test的Topic(topic)

       ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

       查看这个Topic的状况

       ./bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test

      

      往这个topic里写入消息

      ./bin/kafka-consolproducer.sh --broker-list 10.103.104.181:9092 --topic test

      往这个topic里读取消息

      ./bin/kafka-console-consumer.sh --bootstrap-server 10.103.104.181:9092 --topic test --from-beginning

     

    更多详细操作见下一篇博客