【ELK】 本地搭建kafka环境

<一>  本地配置JAVA环境

<二>  kafka源码安装

            1 解压源码

                tar zxvf  kafka_2.11-2.0.1.tgz

            2 配置文件解析

               kafka需要安装zookee使用，但kafka集成zookeeper,在单机搭建时可直接使用。使用需配置kafka_2.11-1.1.0/config 下的“zookeeper.properties”

             

         配置“zookeeper.properties”。修改dataDir和clientPort。前者是快照存放地址(自己随意配置)，后者是客户端连接zookeeper服务的端口。     

       配置kafka_2.11-1.1.0/config下的“server.properties”，修改log.dirs和zookeeper.connect。前者是日志存放文件夹，后者是zookeeper连接地址（端口和clientPort保持一致）。

       

kafka的相关命令

  开启kafka自带zookeeper:

   前台运行：

                 bin/zookeeper-server-start.sh config/zookeeper.properties

   后台运行：

                 nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &

 

    开启kafka:

    前台运行：

               bin/kafka-server-start.sh config/server.properties

    后台运行：

               nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &

    创建kafka主题：

                bin/kafka-topics.sh --create --zookeeper 10.45.xx.xx:2191 --replication-factor 1 --partitions 1 --topic test

    显示kafka所有主题：

                 bin/kafka-topics.sh -list -zookeeper 10.45.xx.xx:2191

    创建kafka生产者：

                 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

    创建kafka消费者：

             bin/kafka-console-consumer.sh --zookeeper 10.45.xx.xx:2191 --topic test --from-beginning

     备注：

     --zookeeper          zookeeper is not a recognized option

    这个是0.9之后的打开方式
    bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

   这个是0.9之前的打开方式
    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
    如果0.9之后使用这个命令打开会报这样的错误
    zookeeper is not a recognized option

 

 

 

 

 

 

参考链接：

kafka单机的配置与使用

https://www.cnblogs.com/qpf1/p/9161742.html

 

zookeeper is not a recognized option Option异常   

 https://blog.csdn.net/Mr_ZhangAdd/article/details/89361864

 

Error while fetching metadata with correlation id : {LEADER_NOT_AVAILABLE} 正确处理姿势 

https://blog.csdn.net/luozhonghua2014/article/details/80369469