kafka 分组消费topic_Kafka 详解

kafka简介

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的(partition)、多副本的(replica)，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。

关键词分布式流处理平台。

在系统之间构建实时数据流管道。

以topic分类对记录进行存储

每个记录包含key-value+timestamp

每秒钟百万消息吞吐量。

安装kafka

0.选择三台主机安装kafka

1.准备zk

略

2.jdk

略

3.tar文件

4.环境变量

略

5.配置kafka

[kafka/config/server.properties]

...

broker.id=201

...

listeners=PLAINTEXT://:9092

...

log.dirs=/home/centos/kafka/logs

...

zookeeper.connect=s201:2181,s202:2181,s203:2181

6.分发server.properties，同时修改每个文件的broker.id

7.启动kafka服务器

a)先启动zk

b)启动kafka

[s202 ~ s204]

$>bin/kafka-server-start.sh -daemon config/server.properties

c)验证kafka服务器是否启动

$>netstat -anop | grep 9092

8.创建主题

$>bin/kafka-topics.sh --create --zookeeper s201:2181 --replication-factor 3 --partitions 3 --topic test

9.查看主题列表

$>bin/kafka-topics.sh --list --zookeeper s201:2181

10.启动控制台生产者

$>bin/kafka-console-producer.sh --broker-list s202:9092 --topic test

11.启动控制台消费者

$>bin/kafka-console-consumer.sh --bootstrap-server s202:9092 --topic test --from-beginning --zookeeper s202:2181

12.在生产者控制台输入hello world

kafka 的使用场景埋点日志的收集一个公司可以用Kafka可以收集各种服务的log。

消息系统：解耦和生产者和消费者、缓存消息等。

用户活动跟踪：Ka