Kafka的安装和简易使用

前言

在这里插入图片描述

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,这使它作为企业级基础设施来处理流式数据非常有价值。此外,Kafka可以通过Kafka Connect连接到外部系统(用于数据输入/输出),并提供了Kafka Streams。 —— 维基百科

在这里插入图片描述

安装

源码安装

  1. 下载

    wget https://mirrors.bfsu.edu.cn/apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz
    
  2. 解压

    tar -xzf kafka_2.12-2.5.0.tgz
    cd kafka_2.13-2.6.0
    
  3. 开启服务(注意需预先安装Java环境)

    ①先开启zookeeper

    bin/zookeeper-server-start.sh config/zookeeper.properties
    
    # 看zk是否开启
    lsof -i:2181
    

    ②再开启kafka

    bin/kafka-server-start.sh config/server.properties
    
    # 看kafka是否开启
    lsof -i:9092
    

    ③将上述命令保存便于启动

    vim start-zk.sh
    
    nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zk-log.txt 2>&1 &
    
    
    vim start-kafka.sh
    
    nohup bin/kafka-server-start.sh config/server.properties > kafka-log.txt 2>&1 &
    
    bash start-zk.sh
    
    bash start-kafka.sh
    
    1. 关闭服务(注意顺序与开启时相反)
    #先关闭kafka
    bin/kafka-server-stop.sh
    
    #再关闭zookeeper
    bin/zookeeper-server-stop.sh
    

Mac环境简易安装

  1. 如果未安装Java,先安装Java:

    brew cask install java
    
  2. 再安装kafka:

    brew install kafka
    
  3. 启动zookeeper和kafka:

    zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties & kafka-server-start /usr/local/etc/kafka/server.properties
    

简易使用示例

  1. 进入kafka目录

    cd kafka_2.13-2.6.0
    
  2. 罗列所有消费组

    bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
    
  3. 查询消费组消费消息的情况

    bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test.consumer.group --describe
    
  4. 追平消费记录
    
    bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group test.consumer.group --reset-offsets --to-latest --all-topics --execute
    

在这里插入图片描述

参考资料

[1] Kafka —— 维基百科,自由的百科全书
[2] APACHE KAFKA QUICKSTART
[3] Mac下Kafka 安装与启动
[4] 在 MacOS 上安装 Kafka

©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页