Kafka教程（二）---------------Kafka架构初识

一. 消息队列

1. 存在价值

• 解耦

解耦消息产出组件与接收消息组件，如果两者强关联，那么一边有修改，另一边就需要跟着修改

解耦之后，消息产出组件与接收消息组件可以自己独立修改，并且还能横向扩展

消息队列

• 数据备份

消息会持久化或者其他方式保存一段时间，两端出现任何问题不会导致数据丢失，两端服务在启动之后可以恢复数据

• 异步通信

之前的方式，接收方必须及时接收消息并进行存储。引入消息系统后消息消费方可以自己控制何时去处理消息数据

 

2. 常见消息队列

应用在分布式系统中的消息队列叫做分布式消息队列，常见的分布式消息队列有：ActiveMQ,RabbitMQ,kafka

二. Kafka shell操作

首先可以通过一系列操作对kafka有个直观的认识，里面的有些概念可能不明白，后面将会详细讲解

注意：下面操作中zkhost、kafkahost请各位都替换为自己的ip或者hostname

1) 创建topic

这个topic叫做test，只有一个分区，一个副本。

 bin/kafka-topics.sh --create --zookeeper zkhost:2181 --replication-factor 1 --partitions 1 --topic test

2) 查看所有topic

bin/kafka-topics.sh --list --zookeeper zkhost:2181

3) 向某个发送消息

bin/kafka-console-producer.sh --broker-list kafkahost:9092 --topic test

即可发送消息了

4) 接收消息

bin/kafka-console-consumer.sh --zookeeper zkhost:2181 --topic test --from-beginning

5) 查看topic详情

bin/kafka-topics.sh --describe --zookeeper zkhost:2181 --topic test

6) 删除topic

 ./bin/kafka-topics  --delete --zookeeper  zkhost:2181  --topic test

前提是server.properties中：  delete.topic.enable=true

7) 查询topic的offset的范围

查询topic名字为test的offset的最小值：

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list kafkahost:9092 -topic test --time -2

输出

test:0:1288

查询offset的最大值：

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list kafkahost:9092 -topic test --time -1

输出

test:0:7885

从上面的输出可以看出topic:test只有一个partition:0 offset范围为:[1288,7885]

三. Kafka中的重要概念

• Broker

Kafka是分布式的，在kafka集群中，每一个kafka服务进程都可以称为一个broker

（可以和第一节的broker id进行对比）

 

• Topic

也就是消息的名字，是业务上对消息的分组与区分。比如：告警的消息队列、错误信息的消息队列、问候信息的消息队列。

 

•  Partition

对于同一个topic，可以分为多个partition，比如topic1分为3个partition，partition0~partition2。相当于把一个整体分为3个部分，这样就实现了负载均衡

所以可以看到，每个partition上的数据虽然不一定相邻，但一定是有序的

至于每一条数据如何分配到不同的broker的，这个后一节实现细节中会详细讲解

• replication

为了保证数据的容错性，通常会设置replication。这个就是数据备份的功能。

比如说设置为replication=2，那么每个partition都会进行备份