大数据组件之Kafka学习指南/快速入门

Kafka学习总结

1、Kafka简介

Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等)
Kafka最核心的最成熟的还是他的消息引擎，所以Kafka大部分应用场景还是用来作为消息队列削峰平谷。另外，Kafka也是目前性能最好的消息中间件。

2、Kafka架构

在Kafka集群(Cluster)中，一个Kafka节点就是一个Broker，消息由Topic来承载，可以存储在1个或多个Partition中。发布消息的应用为Producer、消费消息的应用为Consumer，多个Consumer可以促成Consumer Group共同消费一个Topic中的消息。
概念/对象 简单说明
Broker Kafka节点
Topic 主题，用来承载消息
Partition 分区，用于主题分片存储
Producer 生产者，向主题发布消息的应用
Consumer 消费者，从主题订阅消息的应用
Consumer Group 消费者组，由多个消费者组成

3、准备工作

Kafka服务器
准备3台CentOS服务器，并配置好静态IP、主机名
Kakfa集群需要依赖ZooKeeper存储Broker、Topic等信息，这里我们部署三台ZK
192.168.218.101 Kafka节点1 zk
192.168.218.102 Kafka节点2 zk
192.168.218.103 Kafka节点3 zk

安装部署好kafka之后，查看kafka_2.11-1.1.0/config/server.properties，配置以下内容

设置broker.id这里是用于投票选举，每个节点的数字不一样

设置kafka日志存放目录

设置监听端口

以上设置除了broker.id 监听端口ip需要修改，其余不用修改。
附：kafka常用配置

4 启动kafka

/bin/kafka-server-start.sh config/server.properties &

1）kafka服务启动

./kafka-server-start.sh …/config/server.properties
-daemon表示静默方式启动

2）查看有哪些主题

./kafka-topics.sh --list –zookeeper chen-1:2181,chen-2:2181,chen-3:2181

3）创建topic

./kafka-topics.sh --create --zookeeper chen-1:2181,chen-2:2181,chen-3:2181 --replication-factor 1 --partitions 1 --topic chen

4）查看topic的详细信息

./kafka-topics.sh –zookeeper chen-1:2181,chen-2:2181,chen-3:2181 -describe -topic chen

5）kafka生产者客户端命令

./kafka-console-producer.sh --broker-list chen-1:9092 --topic chen 生产者端可以产生数据供消费者消费

6）kafka消费者客户端命令

./kafka-console-consumer.sh --bootstrap-server chen-2:9092 --topic chen

./kafka-console-consumer.sh --bootstrap-server chen-3:9092 --from-beginning --topic chen
–from-beginning参数可以从头开始消费数据

此时进入zookeeper客户端，可看到在zk中已经存储了和kafka相关的数据

__consumer_offsets表示记录消费的偏移量

7) 删除topic

/kafka-topics.sh --zookeeper zk服务IP:2181 --delete --topic WordCount（注：不能真正删除topic只是把这个topic标记为删除（marked for deletion），要彻底把topic删除必须把kafka中与当前topic相关的数据目录和zookeeper中与当前topic相关的路径一并删除。）

5 消费者组（Consumer Group）

消费者组是Kafka实现单播和广播两种消息模型的手段。同一个topic，每个消费者组都可以拿到相同的全部数据。
设置consumer.properties文件

新建一个topic主题用于测试，消费者组
./kafka-console-producer.sh --broker-list chen-1:9092 --topic chen-1
新建两个消费者组
./kafka-console-consumer.sh -bootstrap-server chen-2:9092 --topic chen-1 --consumer.config …/config/consumer.properties

当分区数<消费者数时：
此时可以发现当存在一个分区和多个消费者时，只有一个消费者能够消费到数据。

当分区数=消费者数时
此时每个消费者消费一个分区

当分区数>消费者数时
此时消费者会消费多个分区，并保证每个消费者至少有一个分区可以消费。