docker 安装kafka

已于 2022-03-16 10:30:40 修改
阅读量6.2k 收藏 21
点赞数
文章标签： docker kafka 运维
于 2022-03-15 18:52:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014796929/article/details/123508090
版权

kafka 依赖 zookeeper

[root@k8s-master ~]# docker search zookeeper
NAME                               DESCRIPTION                                     STARS     OFFICIAL   AUTOMATED
zookeeper                          Apache ZooKeeper is an open-source server wh…   1208      [OK]       
jplock/zookeeper                   Builds a docker image for Zookeeper version …   165                  [OK]
wurstmeister/zookeeper                                                             163                  [OK]
mesoscloud/zookeeper               ZooKeeper                                       73                   [OK]
bitnami/zookeeper                  ZooKeeper is a centralized service for distr…   71                   [OK]
digitalwonderland/zookeeper        Latest Zookeeper - clusterable                  23                   [OK]
debezium/zookeeper                 Zookeeper image required when running the De…   16                   [OK]
tobilg/zookeeper-webui             Docker image for using `zk-web` as ZooKeeper…   15                   [OK]
31z4/zookeeper                     Dockerized Apache Zookeeper.                    9                    [OK]
thefactory/zookeeper-exhibitor     Exhibitor-managed ZooKeeper with S3 backups …   6                    [OK]
josdotso/zookeeper-exporter        ref: https://github.com/carlpett/zookeeper_e…   2                    [OK]
emccorp/zookeeper                  Zookeeper                                       2                    
perrykim/zookeeper                 k8s - zookeeper  ( forked k8s contrib )         1                    [OK]
dabealu/zookeeper-exporter         zookeeper exporter for prometheus               1                    [OK]
rancher/zookeeper                                                                  1                    
duffqiu/zookeeper-cli                                                              1                    [OK]
openshift/zookeeper-346-fedora20   ZooKeeper 3.4.6 with replication support        1                    
rancher/zookeeper-config                                                           0                    
pravega/zookeeper-operator         Kubernetes operator for Zookeeper               0                    
zookeeperfork/zookeeper                                                            0                    
humio/zookeeper-dev                zookeeper build with zulu jvm.                  0                    
ibmcom/zookeeper-ppc64le           Apache ZooKeeper is an open-source server wh…   0                    
bitnami/zookeeper-exporter                                                         0                    
phenompeople/zookeeper             Apache ZooKeeper is an open-source server wh…   0                    [OK]
midonet/zookeeper                  Dockerfile for a Zookeeper server.              0                    [OK]

安装zookeeper

[root@k8s-master ~]# docker pull zookeeper
Using default tag: latest
latest: Pulling from library/zookeeper
a2abf6c4d29d: Pull complete 
2bbde5250315: Pull complete 
202a34e7968e: Pull complete 
4e4231e30efc: Pull complete 
707593b95343: Pull complete 
b070e6dedb4b: Pull complete 
46e5380f3905: Pull complete 
8b7e330117e6: Pull complete 
Digest: sha256:2c8c5c2db6db22184e197afde13e33dad849af90004c330f20b17282bcd5afd7
Status: Downloaded newer image for zookeeper:latest
docker.io/library/zookeeper:latest

安装kafka

[root@k8s-master ~]# docker search kafka
NAME                                      DESCRIPTION                                     STARS     OFFICIAL   AUTOMATED
bitnami/kafka                             Apache Kafka is a distributed streaming plat…   413                  [OK]
kafkamanager/kafka-manager                Docker image for Kafka manager                  146                  
bitnami/kafka-exporter                                                                    5                    
ibmcom/kafka                              Docker Image for IBM Cloud Private-CE (Commu…   5                    
bitnami/kafka-trigger-controller          Source for this controller is in the kubeles…   3                    
kafkaesqueio/pulsar-all                   Apache Pulsar with all optional packages inc…   3                    
ibmcom/eventstreams-kafkaconnect          Docker image for Kafka Connect with the IBM …   2                    
rancher/kafka                                                                             2                    
ibmcom/kafka-java-console-sample          Docker image for the IBM Event Streams Java …   1                    
ibmcom/kafka-retry                        Kafka Retry provides a generic, delayed retr…   1                    
ibmcom/kafka-nodejs-console-sample        Docker image for the IBM Event Streams Node.…   1                    
ibmcom/kafka-java-liberty-sample          Docker image for the IBM Event Streams Java …   1                    
ibmcom/kafka-sender                                                                       1                    
ibmcom/kafka-python-console-sample        Docker image for the IBM Event Streams Pytho…   1                    
ibmcom/kafka-receiver                                                                     1                    
pachyderm/kafka-example-consumer                                                          0                    
pachyderm/kafka_spout                                                                     0                    
ibmcom/eventstreams-kafkamirrormaker      Docker image for Kafka Mirror Maker             0                    
ibmcom/kafka-java-console-schema-sample                                                   0                    
ibmcom/kafka-amd64                                                                        0                    
ibmcom/kafka-golang-console-sample                                                        0                    
ibmcom/kafka-ppc64le                      An open-source stream processing platform       0                    
kafkasocks/mm-prod                                                                        0                    
kafkaesqueio/pulsar                       Apache Pulsar                                   0                    
pachyderm/kafka-example-producer                                                          0     
[root@k8s-master ~]# docker pull wurstmeister/kafka
Using default tag: latest
latest: Pulling from wurstmeister/kafka
540db60ca938: Pull complete 
f0698009749d: Pull complete 
d67ee08425e3: Pull complete 
1a56bfced4ac: Pull complete 
dccb9e5a402a: Pull complete 
Digest: sha256:4916aa312512d255a6d82bed2dc5fbee29df717fd9efbdfd673fc81c6ce03a5f
Status: Downloaded newer image for wurstmeister/kafka:latest
docker.io/wurstmeister/kafka:latest

运行容器 zookeeper:

[root@k8s-master ~]# docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2  --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime zookeeper
c603f292813cfd6e2b16fff88a9767cc86fc9bba34d82723e57a30a6199d280b

运行容器  kafka:

[root@k8s-master ~]# docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.21.10.10:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.21.10.10:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
d545f44cda8eae5f6653efe9ed55b2dd98a29a63648308f0ed6908f5cf841efe
参数说明：
-e KAFKA_BROKER_ID=0  在kafka集群中，每个kafka都有一个BROKER_ID来区分自己

-e KAFKA_ZOOKEEPER_CONNECT=172.21.10.10:2181/kafka 配置zookeeper管理kafka的路径172.21.10.10:2181/kafka

-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.21.10.10:9092  把kafka的地址端口注册给zookeeper，如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。

-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口

-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间

验证kafka是否可以使用

进入容器：

[root@k8s-master ~]# docker exec -it kafka bash
bash-5.1# 
bash-5.1# 
bash-5.1# cd /opt/kafka_2.13-2.8.1/
bash-5.1# pwd
/opt/kafka_2.13-2.8.1
bash-5.1# 
bash-5.1# cd bin
bash-5.1# pwd
/opt/kafka_2.13-2.8.1/bin
bash-5.1# 
bash-5.1# ls -l
total 156
-rwxr-xr-x    1 root     root          1423 Sep 14 21:03 connect-distributed.sh
-rwxr-xr-x    1 root     root          1396 Sep 14 21:03 connect-mirror-maker.sh
-rwxr-xr-x    1 root     root          1420 Sep 14 21:03 connect-standalone.sh
-rwxr-xr-x    1 root     root           861 Sep 14 21:03 kafka-acls.sh
-rwxr-xr-x    1 root     root           873 Sep 14 21:03 kafka-broker-api-versions.sh
-rwxr-xr-x    1 root     root           860 Sep 14 21:03 kafka-cluster.sh
-rwxr-xr-x    1 root     root           864 Sep 14 21:03 kafka-configs.sh
-rwxr-xr-x    1 root     root           945 Sep 14 21:03 kafka-console-consumer.sh
-rwxr-xr-x    1 root     root           944 Sep 14 21:03 kafka-console-producer.sh
-rwxr-xr-x    1 root     root           871 Sep 14 21:03 kafka-consumer-groups.sh
-rwxr-xr-x    1 root     root           948 Sep 14 21:03 kafka-consumer-perf-test.sh
-rwxr-xr-x    1 root     root           871 Sep 14 21:03 kafka-delegation-tokens.sh
-rwxr-xr-x    1 root     root           869 Sep 14 21:03 kafka-delete-records.sh
-rwxr-xr-x    1 root     root           866 Sep 14 21:03 kafka-dump-log.sh
-rwxr-xr-x    1 root     root           863 Sep 14 21:03 kafka-features.sh
-rwxr-xr-x    1 root     root           870 Sep 14 21:03 kafka-leader-election.sh
-rwxr-xr-x    1 root     root           863 Sep 14 21:03 kafka-log-dirs.sh
-rwxr-xr-x    1 root     root           873 Sep 14 21:03 kafka-metadata-shell.sh
-rwxr-xr-x    1 root     root           862 Sep 14 21:03 kafka-mirror-maker.sh
-rwxr-xr-x    1 root     root           886 Sep 14 21:03 kafka-preferred-replica-election.sh
-rwxr-xr-x    1 root     root           959 Sep 14 21:03 kafka-producer-perf-test.sh
-rwxr-xr-x    1 root     root           874 Sep 14 21:03 kafka-reassign-partitions.sh
-rwxr-xr-x    1 root     root           874 Sep 14 21:03 kafka-replica-verification.sh
-rwxr-xr-x    1 root     root         10329 Sep 14 21:03 kafka-run-class.sh
-rwxr-xr-x    1 root     root          1376 Sep 14 21:03 kafka-server-start.sh
-rwxr-xr-x    1 root     root          1361 Sep 14 21:03 kafka-server-stop.sh
-rwxr-xr-x    1 root     root           860 Sep 14 21:03 kafka-storage.sh
-rwxr-xr-x    1 root     root           945 Sep 14 21:03 kafka-streams-application-reset.sh
-rwxr-xr-x    1 root     root           863 Sep 14 21:03 kafka-topics.sh
-rwxr-xr-x    1 root     root           958 Sep 14 21:03 kafka-verifiable-consumer.sh
-rwxr-xr-x    1 root     root           958 Sep 14 21:03 kafka-verifiable-producer.sh
-rwxr-xr-x    1 root     root          1714 Sep 14 21:03 trogdor.sh
drwxr-xr-x    2 root     root          4096 Dec 31 00:30 windows
-rwxr-xr-x    1 root     root           867 Sep 14 21:03 zookeeper-security-migration.sh
-rwxr-xr-x    1 root     root          1393 Sep 14 21:03 zookeeper-server-start.sh
-rwxr-xr-x    1 root     root          1366 Sep 14 21:03 zookeeper-server-stop.sh
-rwxr-xr-x    1 root     root          1019 Sep 14 21:03 zookeeper-shell.sh

运行kafka生产者发送消息：

bash-5.1# ./kafka-console-producer.sh --broker-list localhost:9092 --topic test
>helloworld             
>

运行消费者:

bash-5.1# cd /opt/kafka_2.13-2.8.1/bin/
bash-5.1# ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
helloworld

至此完成

大哥在北漂
关注
  • 0
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
docker安装kafka
weixin_43423377的博客
04-13 348
1.环境准备 安装有docker的阿里云服务器,或安装有docker的linux虚拟机一台. 2.kafka需要zookeeper管理，所以需要先安装zookeeper。 [root@iZi62729w5du0vZ /]# docker pull wurstmeister/zookeeper Using default tag: latest latest: Pulling from wurstmeister/zookeeper a3ed95caeb02: Pull complete ef38
mirrormaker-docker:用于 apache kafka mirrormaker 的 Docker
06-24
注意：这项工作源自 wurstmeister 在的工作 mirrormaker-docker Apache kafka mirrormaker 的 Docker 设置 要求 码头工人 docker-enter（使用$> docker run --rm -v /usr/local/bin:/target jpetazzo/nsenter ） 图 设置 修改KAFKA_ADVERTISED_HOST_NAME中的所有KAFKA_ADVERTISED_HOST_NAME以匹配运行fig.yml的主机的 IP 地址。 有关更多信息，请参阅 白名单mirrormaker被指定为WHITELIST中fig.yml 。 为了测试，它被设置为“MM-.*” 更改文件 ./image-files/*.config 以满足您的要求（如果有）。 启动集群 $ > fig up -d $ > fig sc
docker命令操作kafka容器
精灵鼠小强的博客
10-12 2791
第一次在本机虚拟机上使用docker安装了kafka，这里简单的总结一下如何通过docker命令进入到kafka容器中，并且使用命令对kafka容器内部的topic以及消息进行操作，说明一下都是非常基础的命令，主要是topic的增删改查命令、以及简单的生产消息、消费消息的命令。 进入到kafka容器内部 docker exec -it kafka bash 进入到kafka的安装目录，查看到kafka相关的命令 bash-5.1# cd /opt/kafka/bin/ bash-5.1# ls conne
【Linux】Docker安装kafka教程（超详细保姆篇）
最新发布
A的博客
06-25 2476
docker exec：这是Docker的一个命令，用于在运行的Docker容器中执行命令。 - -it：这是两个选项的组合。-i 选项让Docker的输入保持打开，-t 选项让Docker分配一个伪终端（pseudo-tty）。 kafka：这是你要在其中执行命令的Docker容器的名称。 /bin/bash：这是你要在Docker容器中执行的命令。在这个例子中，你是在打开一个bash shell
docker-kafka-mirrormaker:运行 Kafka 的 MirrorMaker 的 Docker 容器
05-31
Docker Kafka MirrorMaker 运行 Kafka 的 MirrorMaker 的 Docker 容器。 卡夫卡版本：0.8.2.1 用法 ： 设置镜像很容易 - 只需在启动目标集群后启动镜像制作程序。 镜像制造商至少需要一个或多个消费者配置、一个生产者配置以及白名单或黑名单。 您需要将消费者指向源集群的 ZooKeeper，生产者指向镜像集群的 ZooKeeper（或使用 broker.list 参数）。 容器需要传入以下环境变量： CONSUMER_ZK_CONNECT - 源的 Zookeeper 连接字符串，包括端口和 chroot。 DOWNSTREAM_BROKERS - 接收镜像消息的DOWNSTREAM_BROKERS WHITE_LIST -（可选）主题白名单，如果使用，不要使用黑名单 BLACK_LIST -（可选）主题黑名单，如果使用，不
用 docker 部署kafka
热门推荐
lijiewen2017的博客
10-31 2万+
通过 docker 部署 kafka 服务
实战Kafka之异地双活--MirrorMaker1.0
后厂村老司机
11-27 1745
前言 异地灾备可以防止一个机房出现灾难而导致整个系统无法提供服务的问题。 异地双活在异地灾备的基础上减少了数据的冗余，并且提高了对数据双向同步及同步实时性的要求。 Kafka作为在双活中扮演了很重要的角色，一方面是两个区域的正常业务的消息数据分发、另一方面则是elasticsearch等中间件集群的双活方案有时需要依赖kafka的双活。那么在保证实时性的前提下做好kafka的双活呢...
docker安装kafka指令
03-14
docker 安装kafka指令（映射挂载宿主机）
bitnami-docker-kafka：用于Kafka的Bitnami Docker映像
02-05
bitnami-docker-kafka：用于Kafka的Bitnami Docker映像
docker-kafka-cluster集群安装
02-22
【标题】：Docker-Kafka-Cluster集群安装 在现代分布式系统中，Apache Kafka作为一个高效、可扩展的消息中间件，广泛应用于数据流处理和实时数据分析。为了方便在各种环境中快速部署Kafka，我们可以利用Docker容器...
bitnami-docker-kafka-exporter：Bitnami Kafka导出器Docker映像
02-15
DR $ docker run --name kafka-exporter bitnami/kafka-exporter:latest为什么要使用Bitnami Images？ Bitnami密切跟踪上游源变化，并使用我们的自动化系统及时发布该图像的新版本。 对于Bitnami映像，将尽快提供...
详解使用docker搭建kafka环境
09-30
本篇文章主要介绍了详解使用docker搭建kafka环境 ，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
docker-compose安装kafka
01-21
docker-compose安装kafka
docker-kafka-connect:用于kafka-connect的Docker映像
05-09
docker-kafka-连接 Dockerized （分布式模式） 支持的标签 0.10.0.0 （2.11） 0.10.1.1 （2.11） 最新的0.10.2.0 （2.12） 快速开始 使用Docker Compose 像这样编写docker-compose.yml ，然后执行docker-...
Docker部署Kafka以及Spring Kafka实现
01-11
这篇文章主要介绍了Docker部署Kafka以及Spring Kafka实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 从https://hub.docker.com/查找kafka 第三个活跃并...
Docker和ApacheKafka的集成
禅与计算机程序设计艺术
01-28 754
1.背景介绍 1. 背景介绍 Docker是一种开源的应用容器引擎，它使用标准化的包装应用程序，以便在任何操作系统上运行。Apache Kafka是一个分布式流处理平台，用于构建实时数据流管道和流处理应用程序。在现代微服务架构中，这两者都是非常重要的组件。 在这篇文章中，我们将讨论如何将Docker与Apache Kafka集成，以及这种集成的优势和实际应用场景。我们还将讨论如何在实际项目中...
Docker 安装 Kafka
蜗牛的博客
12-10 3249
一、准备工作 1、安装Docker https://blog.csdn.net/u011374856/article/details/103071964 2、创建目录，注意：这是数据存放目录，保障下次重新安装数据不丢失 3、创建bridge网络并指定IP区间，注意：多容器IP访问必备 #创建自定义网络 docker network create --driver bridge ...
手拉手安装Kafka2.13发送和消费消息
weixin_47268883的博客
04-22 1286
手拉手安装Kafka2.13发送和消费消息
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值