Kafka常用命令及问题

记录工作中Kafka方面的常用命令和问题

一、常用命令

  • 1.查看topic
    • 查看所有topic: bin/kafka-topics.sh --list --bootstrap-server localhost:9092
    • 查看某个topic: bin/kafka-topics.sh --list --bootstrap-server localhost:9092 | grep test
    • 查看topic的消息:bin/kafka-topics.sh --describe --bootstrap-server localhost:19092 --topic test
      :在新版本中–zookeeper已经被–bootstrap-server代替,端口也由之前的zookeeper通信端口2181,改为了kafka通信端口9092
  • 2.查看某个topic内的消息
    查看topic的内的具体消息,可以用控制台消费消息,这样就可以在控制台看到
    • 从 latest 位移位置开始消费该主题的所有分区消息,即仅消费正在写入的消息。
      bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test

    • 从开始位置消费
      bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic –from-beginning

    • 更详细的用法参考:Kafka常用命令之kafka-console-consumer.sh

二、常见问题

  • 1.如何查看Kafka的安装路径
    jps -> ps -ef | grep kafka的进程号

  • 2.如何查看kafka的版本
    Kafka没有提供 kafka -version的功能查看kafa的版本。
    需要进入 kafka/libs包查看相关包名。 这里 前面的 2.11是Scala的版本,后面2.30是kafka的版本
    在这里插入图片描述

  • 3. Failed to create new KafkaAdminClient

    org.apache.kafka.common.KafkaException: Failed to create new KafkaAdminClient
      at org.apache.kafka.clients.admin.KafkaAdminClient.createInternal(KafkaAdminClient.java:479)
      at org.apache.kafka.clients.admin.Admin.create(Admin.java:71)
      at org.apache.kafka.connect.util.ConnectUtils.lookupKafkaClusterId(ConnectUtils.java:44)
      at org.apache.kafka.connect.cli.ConnectDistributed.startConnect(ConnectDistributed.java:95)
      at org.apache.kafka.connect.cli.ConnectDistributed.main(ConnectDistributed.java:78)
      Caused by: org.apache.kafka.common.config.ConfigException: No resolvable bootstrap urls given in bootstrap.servers
      at org.apache.kafka.clients.ClientUtils.parseAndValidateAddresses(ClientUtils.java:89)
      at org.apache.kafka.clients.ClientUtils.parseAndValidateAddresses(ClientUtils.java:48)
      at org.apache.kafka.clients.admin.KafkaAdminClient.createInternal(KafkaAdminClient.java:439)
      ... 4 more
    
    • 可能的原因①
      • 跨集群访问 可能需要使用外网ip。
        最好先配置下hosts:vim /etc/hosts
        添加 ip 名称 :xxx.xxx.xxx bigdata-kafka-01
        再 telnet bigdata-kafka-01 9092 看看网络是否通畅(9092是kafka的端口)
©️2020 CSDN 皮肤主题: 1024 设计师:上身试试 返回首页