Docker安装Kafka及可视化界面详细教程【简单粗暴】


前言

安装要求:

安装介绍:

  • 安装zookpeeper,Kafka的运行依赖ZooKeeper
    ZooKeeper是一个分布式协调服务,它的主要作用是为分布式系统提供一致性服务,提供的功能包括:配置维护、命名服务、分布式同步、组服务等。
  • 安装kafka
    Kafka是一款性能非常好的并且支持分布式的消息队列中间件。由于它的高吞吐特性,Kafka通常使用在大数据领域,如日志收集平台。其实Kafka是一个流处理平台,这个概念不太好理解,之所以叫做流,是因为它在工作中就像是一个可以支撑高吞吐量的管道,数据像水一样流进去,然后另外一端再去读取这些数据。我们就可以把Kafka看作是一种特殊的消息队列中间件。

1. 安装zookeeper

docker run -d --name zookeeper -p 2181:2181 -v  /etc/localtime:/etc/localtime wurstmeister/zookeeper
  • /etc/localtime:/etc/localtime让docker容器使用主机系统时间(挂入/etc/localtime)
  • -p 2181:2181 前面的2181表示容器外宿主机的监听端口,后面的2181表示zookeeper 自身在容器中运行的端口。

2. 安装kafka

  • 命令行中192.168.41.128,改为你实际ip
docker run  -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.41.128:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.41.128:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka
  • -e KAFKA_BROKER_ID=0 在kafka集群中,每个kafka都有一个BROKER_ID来区分自己

  • -e KAFKA_ZOOKEEPER_CONNECT=192.168.41.128:2181/kafka 配置zookeeper管理kafka的路径,192.168.41.128改为你zookeeper部署的实际ip

  • -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.41.128:9092 把kafka的地址端口注册给zookeeper
    ,192.168.41.128改为你kafka部署的实际ip

  • -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口

  • -v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间

3. 可视化界面安装

  • kafkaUI-lite是一个轻便好用的kafka ui界面客户端工具,可以在生产消息、消费消息、管理topic、管理group;可以支持管理多个kafka集群
  • docker一键安装
docker run -d -p 8889:8889 freakchicken/kafka-ui-lite
  • 访问 http://ip:8889

4. 消息生产和消费演示

  • 浏览器输入http://ip:8889 访问管理界面
    在这里插入图片描述

  • 添加kafka地址
    在这里插入图片描述

  • 查看kafka订阅情况
    在这里插入图片描述

  • 生产消息
    在这里插入图片描述
    在这里插入图片描述

  • 消费消息
    在这里插入图片描述

Docker部署Kafka机器并可视化通常涉及以下几个步骤: 1. **安装Docker**:首先,需要确保你的系统上已经安装Docker引擎和Docker Compose,这是一个简化了复杂服务配置管理的工具。 2. **拉取Kafka镜像**:从Docker Hub或其他仓库下载Apache Kafka的官方镜像,例如` wurstmeister/kafka ` 或者 `confluentinc/cp-kafka `。 3. **创建Docker-compose.yml文件**:在这个文件中,你需要配置Kafka服务及其依赖项,包括存储路径、网络设置等。示例可以包含如下的部分: ```yaml version: '3' services: kafka: image: confluentinc/cp-kafka:latest replicas: 1 environment: KAFKA_BROKER_ID: 1 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 volumes: - ./data:/var/lib/kafka/data ``` 4. **启动Kafka集群**:运行`docker-d`命令来启动容器,并让Kafka在后台运行。 5. **机器可视化工具**:为了监控和可视化Kafka,你可以选择一些第三方工具,比如: - **Kafka Manager**: 提供了一个用户友好的Web界面,可用于监控Kafka实例、主题和消费者组。 - **Confluent Control Center**: 是Confluent提供的官方监控平台,集成度高,支持多种功能。 - **Visual Studio Code插件**: 如果你是开发者,可以在VSCode中使用插件如"Kafka Explorer",查看Kafka主题数据实时动态。 6. **连接到可视化工具**:根据所选工具的文档,通过其提供的URL或API连接到正在运行的Docker容器内的Kafka实例。
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

全栈小定

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值