kafka 学习笔记(四)之Python客户端

原创 2015年07月11日 04:55:53

今天看看Python客户端。

代码在github上,和以前一样,我们用github上写好的代码进行测试

https://github.com/mumrah/kafka-python

pip install git+git://github.com/mumrah/kafka-python

先确保机器上已经安装了python

输入命令:python

[root@localhost kafka-python]# python
Python 2.6.6 (r266:84292, Jan 22 2014, 09:42:36)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>>


先来使用Producer

>>> from kafka import KafkaClient, SimpleProducer, SimpleConsumer

>>> kafka = KafkaClient("localhost:9092")

producer = SimpleProducer(kafka)

producer.send_messages("test1","Hello world!")

值得注意的是,Python客户端不需要想Java客户端一样连接zookeeper,Python客户端的运行和Java版的是两个project,所以方法不一样。



用kafka自带的consumer console,我们可以看到输出的message


同样,Python客户端也有一些可控的参数,例如是否同步:

producer = SimpleProducer(kafka,async=True)

producer = SimpleProducer(kafka,req_acks=SimpleProducer.ACK_AFTER_LOCAL_WRITE) 

还可以获得response,例如

response = producer.send_messages("test1","Hello world!")

response[0].offset

得到offset


再看看Consumer

consumer = SimpleConsumer(kafka,"python","test1")

for msg in consumer:

print(msg)

结果如图:


然后让我们优雅的退出

kafka.close()

exit()

Kafka 的Python客户端介绍完了,enjoy!



版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Kafka 学习笔记(一)

菜鸟学习kafka之 为了java客户端的Maven安装 最近在看Kafka,脚本启动官网上有tutorial但是客户端的没看到只能自己摸索了。本来以为装上java就能编译然后启动Kaf...

Kafka集群partitions/replicas默认分配解析

1. kafka集群副本分布原理分析 下面以一个kafka集群中4个broker举例,1个topic分成4个partition,2 replication;数据producer流动如图所示: ...

Kafka 学习笔记(八)之producer读取file

要想让Kafka用到实际中,就需要学会让Kafka从文件中读取内容,发送到topic里,以供consumer读取。我们以前的几篇,自己产生data的,不是从file中读的。 之前先下载好scp,sc...

Kafka(一):基础

1. 引言 互联网够公司的日志无处不在,web日志,js日志,搜索日志,监控日志等等。对于这些日志的离线分析(Hadoop),wget&rsync虽然人力维护成本较高,但可以满足功能行需求。但对于这些...
  • yfkiss
  • yfkiss
  • 2013-12-18 19:15
  • 32612

Kafka 学习笔记(十)之consumer写入file

承接上一篇,我们在写好了producer之后,来写consumer Consumer接到data之后,写入file中。 vi不显示高亮,不爽,改一下设置 vi /etc/vimrc 添加 s...

kafka+zookeeper入门搭建

配置jdk [root@htapp01 mnt]# java -version java version "1.8.0_102" Java(TM) SE Runtime Environment ...

kafka 学习笔记(二)之Java Producer客户端

软件神马的装好了,该写代码了,首先学习Producer。 Tutorial的代码只能用来玩,我们真正要做的是用Kafka嵌入到我们自己的程序中。因此用java客户端创建自己的consumer和prod...

Kafka 学习笔记(三)之Java Consumer客户端

写了producer,这篇我们来看看consumer。

python 操作kafka

https://pypi.python.org/pypi/pykafka
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)