python调用kafka

最新推荐文章于 2024-06-21 17:08:16 发布
最新推荐文章于 2024-06-21 17:08:16 发布
阅读量979 收藏 3
点赞数
分类专栏： python 文章标签： python kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nageaixiaodenanhai/article/details/89003926
版权

先启动hadoop，zookeeper，kafka

启动命令

hadoop启动命令  sbin/start-all.sh
zookeeper启动命令  ./bin/zkServer.sh start  每台机器都要启动
kafka启动命令  bin/kafka-server-start.sh config/server.properties  每台机器都要启动

进行以下操作的前提是将hadoop，zookeeper，kafka安装配置好并启动

1.安装kafka-1.3.5.tar.gz

到pypi.python.org上下载kafka-1.3.5.tar.gz

解压tar xvzf  kafka-1.3.5.tar.gz

进入kafka-1.3.5文件夹下，安装sudo python setup.py install

安装过程中可能会出现缺少某些安装包等错误，下载安装即可

2.安装完成之后创建topic

hadoop@master:~/local/kafka_2.10-0.10.1.0/bin$   ./kafka-topics.sh --describe --zookeeper localhost:2181 --topic world

创建之后可以通过以下命令查看已创建的topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

3.编写测试代码

（1）生产者代码

假如我们要监控此/home/hadoop/local/jdk1.8.0_191/lib/missioncontrol/features下的文件，可以这样执行

python  file_monitor.py  /home/hadoop/local/jdk1.8.0_191/lib/missioncontrol/features

file_monitor.py

#-*- coding: utf-8 -*- 
from kafka import KafkaProducer
import json
import os
import time
from sys import argv 

producer = KafkaProducer(bootstrap_servers='192.168.120.11:9092') 

def log(str):	
    t = time.strftime(r"%Y-%m-%d_%H-%M-%S",time.localtime())	
    print("[%s]%s"%(t,str)) 

def list_file(path):	
    dir_list = os.listdir(path);	
    for f in dir_list:		 
        producer.send('world',f)		 
        producer.flush()		 
        log('send: %s' % (f))	 

list_file(argv[1])
producer.close()
log('done')

执行结果如下：

hadoop@master:~$ python pro.py /home/hadoop/local/jdk1.8.0_191/lib/missioncontrol/features
[2019-04-04_00-04-09]send: org.eclipse.emf.common_2.10.1.v20140901-1043
[2019-04-04_00-04-09]send: com.jrockit.mc.feature.core_5.5.2.174165
[2019-04-04_00-04-09]send: com.jrockit.mc.feature.rcp.ja_5.5.2.174165
[2019-04-04_00-04-09]send: com.jrockit.mc.feature.rcp.zh_CN_5.5.2.174165
[2019-04-04_00-04-09]send: org.eclipse.equinox.p2.rcp.feature_1.2.0.v20140523-0116
[2019-04-04_00-04-09]send: org.eclipse.ecf.core.feature_1.1.0.v20140827-1444
[2019-04-04_00-04-09]send: com.jrockit.mc.rcp.product_5.5.2.174165
[2019-04-04_00-04-09]send: org.eclipse.ecf.filetransfer.httpclient4.ssl.feature_1.0.0.v20140827-1444
[2019-04-04_00-04-09]send: com.jrockit.mc.feature.flightrecorder_5.5.2.174165
[2019-04-04_00-04-09]send: org.eclipse.equinox.p2.core.feature_1.3.0.v20140523-0116
[2019-04-04_00-04-09]send: org.eclipse.babel.nls_eclipse_zh_4.4.0.v20140623020002
[2019-04-04_00-04-09]send: org.eclipse.emf.ecore_2.10.1.v20140901-1043
[2019-04-04_00-04-09]send: org.eclipse.rcp_4.4.0.v20141007-2301
[2019-04-04_00-04-09]send: org.eclipse.help_2.0.102.v20141007-2301
[2019-04-04_00-04-09]send: org.eclipse.ecf.filetransfer.feature_3.9.0.v20140827-1444
[2019-04-04_00-04-09]send: org.eclipse.babel.nls_eclipse_ja_4.4.0.v20140623020002
[2019-04-04_00-04-09]send: org.eclipse.ecf.filetransfer.ssl.feature_1.0.0.v20140827-1444
[2019-04-04_00-04-09]send: org.eclipse.ecf.core.ssl.feature_1.0.0.v20140827-1444
[2019-04-04_00-04-09]send: org.eclipse.ecf.filetransfer.httpclient4.feature_3.9.1.v20140827-1444
[2019-04-04_00-04-09]send: com.jrockit.mc.feature.console_5.5.2.174165
[2019-04-04_00-04-09]send: com.jrockit.mc.feature.rcp_5.5.2.174165
[2019-04-04_00-04-09]send: org.eclipse.e4.rcp_1.3.100.v20141007-2033
[2019-04-04_00-04-09]done

（2）消费者代码

con.py

#-*- coding: utf-8 -*- 
from kafka import KafkaConsumer
import time 

def log(str):
    t = time.strftime(r"%Y-%m-%d_%H-%M-%S",time.localtime()) 
    print("[%s]%s"%(t,str)) 

log('start consumer')

consumer=KafkaConsumer('world',group_id='test-consumer-group',bootstrap_servers=['192.168.44.130:9092'])

for msg in consumer:  
    recv = "%s:%d:%d: key=%s value=%s" %(msg.topic,msg.partition,msg.offset,msg.key,msg.value)   
    log(recv)

consumer.close()

上面代码中的world是topic的名称，要与自己创建的topic名称一致

test-consumer-group是kakfa消费组的标识，要与自己在kafka_2.10-0.10.1.0/config/consumer.properties中配置的group-id一致

 

执行结果：

hadoop@master:~$ python con.py 
[2019-04-04_00-06-21]start consumer
[2019-04-04_00-06-21]world:0:291: key=None value=b'org.eclipse.emf.common_2.10.1.v20140901-1043'
[2019-04-04_00-06-21]world:0:292: key=None value=b'com.jrockit.mc.feature.core_5.5.2.174165'
[2019-04-04_00-06-21]world:0:293: key=None value=b'com.jrockit.mc.feature.rcp.ja_5.5.2.174165'
[2019-04-04_00-06-21]world:0:294: key=None value=b'com.jrockit.mc.feature.rcp.zh_CN_5.5.2.174165'
[2019-04-04_00-06-21]world:0:295: key=None value=b'org.eclipse.equinox.p2.rcp.feature_1.2.0.v20140523-0116'
[2019-04-04_00-06-21]world:0:296: key=None value=b'org.eclipse.ecf.core.feature_1.1.0.v20140827-1444'
[2019-04-04_00-06-21]world:0:297: key=None value=b'com.jrockit.mc.rcp.product_5.5.2.174165'
[2019-04-04_00-06-21]world:0:298: key=None value=b'org.eclipse.ecf.filetransfer.httpclient4.ssl.feature_1.0.0.v20140827-1444'
[2019-04-04_00-06-21]world:0:299: key=None value=b'com.jrockit.mc.feature.flightrecorder_5.5.2.174165'
[2019-04-04_00-06-21]world:0:300: key=None value=b'org.eclipse.equinox.p2.core.feature_1.3.0.v20140523-0116'
[2019-04-04_00-06-21]world:0:301: key=None value=b'org.eclipse.babel.nls_eclipse_zh_4.4.0.v20140623020002'
[2019-04-04_00-06-21]world:0:302: key=None value=b'org.eclipse.emf.ecore_2.10.1.v20140901-1043'
[2019-04-04_00-06-21]world:0:303: key=None value=b'org.eclipse.rcp_4.4.0.v20141007-2301'
[2019-04-04_00-06-21]world:0:304: key=None value=b'org.eclipse.help_2.0.102.v20141007-2301'
[2019-04-04_00-06-21]world:0:305: key=None value=b'org.eclipse.ecf.filetransfer.feature_3.9.0.v20140827-1444'
[2019-04-04_00-06-21]world:0:306: key=None value=b'org.eclipse.babel.nls_eclipse_ja_4.4.0.v20140623020002'
[2019-04-04_00-06-21]world:0:307: key=None value=b'org.eclipse.ecf.filetransfer.ssl.feature_1.0.0.v20140827-1444'
[2019-04-04_00-06-21]world:0:308: key=None value=b'org.eclipse.ecf.core.ssl.feature_1.0.0.v20140827-1444'
[2019-04-04_00-06-21]world:0:309: key=None value=b'org.eclipse.ecf.filetransfer.httpclient4.feature_3.9.1.v20140827-1444'
[2019-04-04_00-06-21]world:0:310: key=None value=b'com.jrockit.mc.feature.console_5.5.2.174165'
[2019-04-04_00-06-21]world:0:311: key=None value=b'com.jrockit.mc.feature.rcp_5.5.2.174165'
[2019-04-04_00-06-21]world:0:312: key=None value=b'org.eclipse.e4.rcp_1.3.100.v20141007-2033'

参考: kfka学习笔记二：使用Python操作Kafka

         kafka实战教程(python操作kafka)，kafka配置文件详解

         

 

smile__su
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python 操作 Kafka --- kafka-python
墨鱼菜鸡
07-11 1万+
kafka-python：https://github.com/dpkp/kafka-python kafka-python 文档：https://kafka-python.readthedocs.io/en/master/apidoc/modules.html kafka 官方文档：http://kafka.apache.org/docu...
python使用kafka-kafka基本命令，python-kafka使用
weixin_37988176的博客
10-29 242
1.启动nohup kafka-server-start /usr/local/etc/kafka/server-1.properties &2.查看消费者kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning3.描述kafka-topics --describe --bootst...
Python调用kafka构建完整实例分析与应用
最新发布
Python老吕的博客
06-21 704
本文通过一个完整的Python调用Kafka的实例，详细分析了Kafka在Python中的应用。通过生产者发送消息和消费者读取消息的基本流程，我们展示了如何使用库与Kafka进行交互。同时，我们也介绍了Kafka的一些基础知识和高级特性，并探讨了如何在Python中进行扩展和应用。希望本文能够帮助读者更好地理解Kafka与Python的结合方式，并在实际项目中发挥它们的优势。👨‍💻博主Python老吕评论，您的举手之劳将对我提供了无限的写作动力！🤞。
使用 Python 操作 Kafka
sinat_35773915的博客
07-13 3691
Apache Kafka 是一个分布式的流处理平台，它具有高吞吐量、可扩展性和持久性的特点。通过使用 Python 的 kafka-python 模块，我们可以方便地操作 Kafka。通过以上步骤，我们可以方便地使用 Python 操作 Kafka。你可以根据实际需求进行扩展，比如设置消息的键、使用分区、实现消费者组等。最后，我们可以根据实际需求对消息进行处理，比如将其存储到数据库、进行实时处理等。首先，我们需要安装 kafka-python 模块。希望这篇文章对你有所帮助！接下来，我们可以使用。
python调用kafka_kafka-python基本使用
weixin_39862794的博客
11-21 422
作者：Zarten简介： 互联网一线工作者，尊重原创并欢迎评论留言指出不足之处，也希望多些关注和点赞是给作者最好的鼓励 ！kafka-python为Apache Kafka的python客户端。下面将介绍它的基本使用1.Kafka及ZooKeeper的安装2.kafka-python的安装pip3 install kafka-python3.kafka-python的基本使用最简单使用实例1.消...
python通过Pykafka库来连接kafka并收发消息
weixin_34329187的博客
11-15 1569
2019独角兽企业重金招聘Python工程师标准>>> ...
kafka-python-2.0.2.tar.gz
08-31
在`kafka-python`中，可以通过创建一个`KafkaProducer`实例并调用其`send()`方法来发送消息： ```python from kafka import KafkaProducer producer = KafkaProducer(bootstrap_servers='localhost:9092') ...
Python-kafka集群搭建PythonAPI调用Producer和Consumer
08-12
**Python-Kafka集群搭建与Python API使用指南** Kafka是一种分布式流处理平台，常用于实时数据处理和消息传递。在本教程中，我们将探讨如何搭建一个支持SASL（Simple Authentication and Security Layer）认证的...
kafka-python
05-10
Python在大数据处理和数据分析领域也有广泛的应用，而`kafka-python`就是一款用于Python编程语言与Kafka进行交互的库。这个库使得Python开发者能够方便地生产和消费Kafka消息，从而利用Kafka的强大功能。 ### Kafka...
对python操作kafka写入json数据的简单demo分享
09-19
### Python 操作 Kafka 写入 JSON 数据 Demo 分析 #### 一、引言 随着大数据技术的发展，消息队列在现代软件架构中的作用越来越重要。Apache Kafka 作为一款分布式的流处理平台，因其高吞吐量、低延迟等特点，在...
python hbase读取数据发送kafka的方法
09-19
本文将详细介绍如何使用Python从HBase数据库中读取数据，并将这些数据发送到Kafka消息队列。首先，我们需要了解HBase和Kafka的基本概念。 HBase是一个分布式、版本化的NoSQL数据库，基于Google的Bigtable设计，它...
python操作kafka实践的示例代码
09-19
主要介绍了python操作kafka实践的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Python 操作kafka
技术札记
05-12 237
Python3 安装模块 pip3 install kafka-python 启动kafka 消费者 from kafka import KafkaConsumer #consumer=KafkaConsumer('result',group_id='consumer-20171017',bootstrap_servers=['192.168.126.132:9092']) con...
kafka实战教程(python操作kafka--理论篇)
weixin_30530339的博客
07-27 1736
应用往Kafka写数据的原因有很多：用户行为分析、日志存储、异步通信等。多样化的使用场景带来了多样化的需求：消息是否能丢失？是否容忍重复？消息的吞吐量？消息的延迟？ kafka介绍Kafka属于Apache组织，是一个高性能跨语言分布式发布订阅消息队列系统[7]。它的主要特点有： 以时间复杂度O(1)的方式提供消息持久化能力，并对大数据量能保证常数时间的访问性能；高吞吐率，单台服务器...
Python操作Kafka基础教程
Python私教
02-19 1473
下载UI工具：https://kafkatool.com/download2/offsetexplorer_64bit.exe。外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传。点击是，然后就成功的使用客户端连接上Kafka了。下载好以后按照默认进行安装。安装Python3.8。
python调用kafka_python调用kafka服务（使用kafka-python库）
weixin_39649965的博客
11-21 370
试验环境：CDH 5.15.1CentOS 7Python 3.7.0kafka 1.1.1实验目的：通过python线程，不断的将指定接口中的数据取出，并将数据不断发送到kafka服务中。实验步骤-1：先将kafka-python下载并安装成功；进行一个python调用kafka的简单测试：进入python3的终端：>>>from kafka import KafkaProducer>>> pr...
python使用kafka-python 操作Kafka
weixin_37988176的博客
10-29 759
Pyhon操作Kafka数据库1.Python需要安装pykafka模块pip install pykafka2.python 存入kafka消息# -*- coding: utf-8 -*-from kafka import KafkaProducerproducer = KafkaProducer(bootstrap_servers=['127.0.0.1:9092'])#此处ip可以是多个[...
python操作kafka
sxf_123456的博客
09-27 485
1、查看kafka集群中所有的topic from pykafka import KafkaClient client = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7.2.15:9092") print(client.topics) #查找kafka集群中所有的topic # {b'r_queue': N...
python查询kafka的topic
10-04
Python可以使用kafka-python库来查询Kafka的topic。下面是一个简单的示例： 首先，确保已经安装了kafka-python库： ``` pip install kafka-python ``` 然后，使用以下代码查询Kafka的topic： ```python from kafka import KafkaAdminClient # 创建KafkaAdminClient对象 admin_client = KafkaAdminClient(bootstrap_servers='localhost:9092') # 获取所有topic的元数据 topics = admin_client.list_topics() # 遍历输出所有topic的名称 for topic in topics: print(topic) ``` 以上代码首先创建了一个KafkaAdminClient对象，需要传入Kafka的bootstrap服务器地址。然后通过调用`list_topics()`方法来获取所有topic的元数据。最后遍历输出每个topic的名称。 请确保将`localhost:9092`替换为你实际使用的Kafka服务器地址和端口。 希望以上代码能帮助到你查询Kafka的topic。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值