Docker 搭建 kafka，zookeeper 以及python操作kafka

最新推荐文章于 2024-02-19 10:31:50 发布
最新推荐文章于 2024-02-19 10:31:50 发布
阅读量585 收藏 2
点赞数
分类专栏： kafka docker python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WJ844908240/article/details/102519773
版权
本文介绍了如何使用Docker部署Kafka和Zookeeper，并着重讲解了如何在虚拟机和Docker环境下配置主机名以实现外部访问。同时，提供了Python操作Kafka的简单代码示例。
摘要由CSDN通过智能技术生成

拉取下面两个镜像

zookeeker: docker pull zookeeper:latest
kafka: docker pull wurstmeister/kafka:latest

启动zookeeper

docker run -d --name zookeeper --publish 2181:2181 --volume /etc/localtime:/etc/localtime zookeeper:latest

虚拟机中 使用 主机名 来作为 连接 ip 否则外网无法访问
在虚拟机 和 docker kafka中修改/etc/hosts 添加 127.0.0.1 主机名 来连接
其实只用在 docker kafka中修改 就可以了

docker run -dit --name mykafka1 --publish 9092:9092 \
--link zookeeper \
--env KAFKA_GROUP_ID=test_kafka1 \  #组
--env KAFKA_BROKER_ID=1 \
--env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
--env KAFKA_ADVERTISED_PORT=9092 \
--env KAFKA_ADVERTISED_HOST_NAME=kafka1 \ #
最低0.47元/天 解锁文章
查理的老师
关注
专栏目录
zookeeper+kafka+python实现初步数据对接
ali_lili的博客
07-14 1287
zookeeper安装 1.本地下载zookeeper的包，然后通过rz上传到服务器上 2.进入zookeeper/bin/conf，复制zoo_sample.cfg，命名为zoo.cfg,参考代码 cp zoo_sample.cfg zoo.cfg 3.修改zoo.cfg的配置文件，主要修改两处，其他的因人而异 dataDir=/usr/zookeeper/data dataLogDir=/usr/zookeeper/logs 4.可以运行了 bin/zkServer.sh start 更详细一点的
docker搭建zookeeper和kafka 集群
hfthxfhjy的博客
11-03 1389
docker-compose 部署kafka 集群，配置文件记录
Kafka-Docker:一个Python
04-18
卡夫卡码头工人 一个基于Python：Slim的Docker映像，安装了Flask v1.1.2，Librdkafka和Confluent-Kafka v1.6.0
python连接kafka集群_zookeeper与Kafka集群搭建及python代码测试
weixin_39585463的博客
11-28 499
#进入conf目录/opt/zookeeper/zookeeper-3.4.6/conf#查看[root@192.168.7.107]$ ll-rw-rw-r--. 1 1000 1000 535 Feb 20 2014configuration.xsl-rw-rw-r--. 1 1000 1000 2161 Feb 20 2014log4j.properties-rw-rw-r--. 1 ...
kafka+docker+python
weixin_30344995的博客
12-17 343
昨天晚上刚刚才花3小时看完《日志：每个软件工程师都应该知道的有关实时数据的统一概念》。 今天就把kafka在docker容器里运行起来，github上有几个，但都太复杂了。 我自己写个最简单的python的demo体验一下：https://github.com/xuqinghan/docker-kafka 和上周部署taiga相比，kafka不愧是大家手笔，基本无坑，简单记录一下： 首先是...
python发送zookeeper的kafka集群消息
lx2324268860的博客
10-09 1356
python发kafka消息 目前技术一般采用基于zk的kafka集群，传统直连方式不可取。因此采用pykafka三方类库来进行消息的发送和接收，本文实现了同步sync和异步async的消息发送produce，接收消息consume部分topic查询不到消息，欢迎技术同学帮我补充（本文也是参考网上文章，基于python3.7） 直接上代码（实践可用） rom pykafka import Ka...
kafka安装 docker安装kafka zookeeper
最新发布
08-26
3.6.docker安装 kafka 参数解释： -d ：后台运行 – name 当前容器的名字。 -p：暴露端口，-p 9092:9092 将容器内部的9092端口映射到宿主机的端口上。 –privileged：使用该参数，container内的root拥有真正的root...
真的实用，2021你不可不知的Docker操作部署kafka+zookeeper
q1472750149的博客
11-25 2127
环境准备 文章使用 Window 系统 + Docker Desktop 演示，假设您有一定的docker基础。 Docker Desktop Docker Desktop为我们学习Docker提供了一套完整的一个桌面环境，可以为软件开发提供很多便利。 Docker Desktop包含了Docker Engine, Docker CLI client, Docker Compose, Docker Machine和Kitematic。 先去 Docker官网 下载 Docker Desktop..
Docker搭建Kafka教程（python使用kafka基础用法，生产消费）
m0_56659620的博客
12-21 2374
图解 kafka 架构与工作原理 - 知乎 (zhihu.com)
python连接kafka集群_如何利用pykafka远程消费 zookeeper+kafka集群
weixin_39546661的博客
12-01 762
首先，申明下版本zookeeper-3.4.7.tar.gzkafka_2.10-0.8.2.2.tgz 这个一定要用0.8.2X的版本 经过多次实验验证 切记切记http://pykafka.readthedocs.org/en/latest/roadmap.html 说的很清楚Kafkaversion pykafka? rdkafka?0.8.1 No No0.8...
Kafka API for Python
架构狮老颜
08-05 4610
python api kafka
kafka 安装 kafka-manager 安装 及python调用
luslin1711的博客
12-18 817
kafka 安装 kafka-manager 安装 及python调用 docker-compose 文件 version: '3' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kafka de...
Python操作Kafka基础教程
Python私教
02-19 1644
下载UI工具：https://kafkatool.com/download2/offsetexplorer_64bit.exe。外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传。点击是，然后就成功的使用客户端连接上Kafka了。下载好以后按照默认进行安装。安装Python3.8。
kafka 在docker 上部署运行
殇莫忆的博客
06-14 3848
一、环境 Ubuntu 16.04 docker 版本 二、步骤 1、拉去docker上的kafka的镜像，因kafka依赖zookeeper，所以zookeeper的镜像也要拉去 sudo docker pull wurstmeister/zookeeper sudo docker pull wurstmeister/kafka 查看镜像是否成功下载 2、...
使用python操作kafka全网最详细
热门推荐
前方的路在刚开始
04-27 1万+
材料准备: 在centos7中安装了这些之后。 首先对于zookeeper的配置. 解压 zookeeper根目录为 /hadoop/zookeeper cd /hadoop/zookeeper mkdir zkData cd conf mv zoo_sample.cfg zoo.cfg vi zoo.cfg ---- dataDir=/hadoop/zookeeper/zkData ---- /hadoop/zookeeper-3.4.10 启动 cd /hadoop/zookeeper bi
【windows】安装zookeeper、Kafka、pykafka教程与基本概念详解
筱超的博客
07-20 486
Zookeeper是用于分布式协调的开源框架，Kafka是用于高吞吐量、低延迟消息传输的分布式消息队列系统，而pykafka是用于Python语言的Kafka客户端库，用于在Python项目中操作Kafka集群。它们共同构成了一个完整的分布式消息传输和处理系统。
安装zookeeper和kafka
野蛮生长的小骑士
07-17 6654
安装zookeeper和kafka: 参考：https://blog.csdn.net/u010054969/article/details/70241478 值得注意的点： 1.Javac在控制台没有正常显示，是因为JAVA_HOME或Path路径有问题 2.下载kafka时下载binary的 3.输入命令行时：.\bin\windows\kafka-server-start.bat ...
docker的入门
LingMax的博客
10-13 224
1、Docker 要求 CentOS 系统的内核版本高于 3.10 ，查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker 。 通过uname -r命令查看你当前的内核版本 uname -r 2、使用root权限登录 Centos。确保 yum 包更新到最新。 sudo yum update 3、卸载旧版本(如果安装过旧版本的话) sudo yum r...
Docker快速搭建Zookeeper与Kafka集群实战
"这篇文章主要讲解如何使用Docker搭建Zookeeper和Kafka的集群环境，适合学习和测试。作者提到在虚拟机中手动设置多台服务器的复杂性，并选择了Docker作为解决方案，以简化集群部署过程。文章适用于有一定Docker基础...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值