kafka python教程_python下Kafka 教程系列（二）安装与基本操作

kafka

kafka简介(摘自百度百科)

简介：

afka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费。

特性：

通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。

高吞吐量[2] ：即使是非常普通的硬件Kafka也可以支持每秒数百万[2] 的消息

支持通过Kafka服务器和消费机集群来分区消息

支持Hadoop并行数据加载

术语：

Broker

Kafka集群包含一个或多个服务器，这种服务器被称为broker

Topic

每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。(物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)

Partition

Partition是物理上的概念，每个Topic包含一个或多个Partition.

Producer

负责发布消息到Kafka broker

Consumer

消息消费者，向Kafka broker读取消息的客户端。

Consumer Group

每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name，若不指定group name则属于默认的group)。

安装

首先安装kafka.pip install,具体环境为

之后检验：

 

如果安装不成功可以执行如下，

也可以到网站：http://pipy.python.org/ ，找到kafka的相关kafka-python ,网速比较慢，或者通过下面连接下载(直通车)

有的说需要下载相关组件(我没有下载)。

下载setuptools-0.6c11-py2.6.egg(直通车)

以上下载完成，

基本操作

Producer

创建生产者部分暂时掠过，

Consumer

1.group-idfrom kafka import KafkaConsumer

import time

def log(str):

t = time.strftime(r"%Y-%m-%d_%H-%M-%S",time.localtime())

print("[%s]%s"%(t,str))

log('start consumer')

#消费192.168.120.11:9092上的world 这个Topic,指定consumer group是consumer-20171017  consumer=KafkaConsumer('world',group_id='consumer-20171017',bootstrap_servers=['192.168.120.11:9092'])

for msg in consumer:

recv = "%s:%d:%d: key=%s value=%s" %(msg.topic,msg.partition,msg.offset,msg.key,msg.value)

log(recv)  12345678910111213

在 Kafka 中一个 consumer 需要指定 group-id ， groue 中保存着 offset 等信息，新开启一个 group 会从 offset 0 的位置重新开始获取日志。

kafka 的配置参数中有个 partition ，默认是 1 ，这个会对数据进行分区，如果多个 consumer 想连接同个 group 就必需要增加 partition , partition 只能大于 consumer 的数量，否则多出来的 consumer 将无法获取到数据。