Kafka

消息队列的两种模式

1、 点对点模式（一对一，消费者主动拉取数据，消息收到后清除）

2、 发布订阅模式（一对多，消费者消费数据之后不会删除，数据可以被多个消费者使用）。有两种消费方式，一种是消费者主动拉取操纵，好处是速度可以自己控制，坏处是要维护一个常轮询，不断询问队列是否有新数据产生；另一种是消息队列推送数据，消费者的消费能力不一样，没法根据不同的消费者提供不同的推送速度。

 

 Kafka中存储的消息，被消费后不会被删除，可以被重复消费，消息会保留多长，由kafka自己去配置。默认7天删除。背后的管理工作由zookeeper来管理。

Kafka的特性

（1） 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。
​（2）可扩展性：kafka集群支持热扩展。
​（3）持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失。
​（4）容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）。
​（5）高并发：支持数千个客户端同时读写。

Kafka常用的配置解释

Kafka命令行的使用

创建topic

kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --topic test1 --partitions 3 --replication-factor 3

分区数量，副本数量，都是必须的。

 数据的形式： 

主题名称-分区编号。

在Kafka的数据目录下查看。

设定副本数量，不能大于broker的数量

 查看所有的topic

kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181

查看某个topic的详细信息

kafka-topics.sh --describe --zookeeper node01:2181,node02:2181,node03:2181 --topic test1

ISR: In-Sync Replicas   可以提供服务的副本。

AR = ISR + OSR

 

删除topic

kafka-topics.sh --delete --zookeeper node01:2181,node02:2181,node03:2181 --topic test1

生产数据

kafka-console-producer.sh：

指定broker

 指定topic 

 

写数据的命令：

kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test1

注意：写数据，实际上就是写log, 追加日志。

可在kafka的/root/kafkadata目录下查看分区中log。

每一条数据，只存在于当前主题的一个分区中，所有的副本中，都有数据。

消费数据

kafka-console-consumer.sh --topic test1 --bootstrap-server node01:9092,node02:9092,node03:9092

注意： 此命令会从日志文件中的最后的位置开始消费。

如果想从头开始消费：

kafka-console-consumer.sh --topic test1 --bootstrap-server node01:9092,node02:9092,node03:9092 --from-beginning

会从头（earliest）开始读取数据。

读取数据时，分区间的数据是无序的，分区中的数据是有序。

如果想指定groupid,可以通过参数来指定：

 kafka-console-consumer.sh --topic test1 --bootstrap-server node01:9092,node02:9092,node03:9092 --from-beginning --consumer-property group.id=123

 

一个topic中的数据，只能被一个groupId所属的consumer消费一次。（记录偏移量）