KafKa简单入门理解

KafKa简单入门理解

1. 概念

     属于分布式消息引擎系统，也是分布式流处理平台，分区的、多副本。消息为二进制字节序列。好处之一是"削峰填谷" 缓冲上下游时的突发流量，使其更平缓。 发送方与订阅方的松耦合，不再进行不必要的交互。

1.1 消息模型的两种方式

    点对点模型：也叫消息队列模式。一条消息只能被一个消费者消费。
    发布/订阅模型

2. 术语

2.1 主题

    Topic：每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。每个主题可以有多个分区。

2.2 客户端

     生产者（Producer）

     消费者（Consumer）

2.3 服务器端

     Broker - 服务进程：Kafka 集群包含一个或多个服务器，服务器节点称为broker。

2.4 备份机制（Replication）

     副本（leader-follower）
         领导者副本：可以对外提供服务。每个partition有多个副本，其中有且仅有一个作为Leader，Leader是当前负责数据的读写的partition。
        追随者副本：不可以对外提供服务，只与领导者交互，请求领导者把最新生产的消息发送给它。Follower跟随Leader，所有写请求都通过Leader路由，数据变更会广播给所有Follower，Follower与Leader保持数据同步。如果Leader失效，则从Follower中选举出一个新的Leader。
         一台服务器可能同时是一个分区的leader，另一个分区的follower。

2.5 分区（Partition）

    为了解决伸缩性。每个主题（topic）划分成一个或多个分区（partition）。每个topic至少有一个partition。每个partition中的数据使用多个segment文件存储。partition中的数据是有序的，不同partition间的数据丢失了数据的顺序。如果topic有多个partition，消费数据时就不能保证数据的顺序。在需要严格保证消息的消费顺序的场景下，需要将partition数目设为1。

2.6 消费者组

    由多个消费者组共同组成一个消费者组，来消费一组主题，这组主题中的每个分区会被组内的一个消费者实例消费，不能再由其他消费者消费。

3. 特性

1. 高吞吐量、低延迟
2. 可扩展性
3. 持久性、可靠性
4. 容错性
5. 高并发

4. Mac下安装运行测试

Mac安装Kafka

brew install kafka

命令行启动

# 进入bin目录
/usr/local/Cellar/kafka/2.2.1/bin
# 启动zookeeper
zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties 
# 启动kafka
kafka-server-start /usr/local/etc/kafka/server.properties

测试运行

# 创建topic,名为test
kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
# 查看创建的topic
kafka-topics --list --zookeeper localhost:2181
# 创建生产者
kafka-console-producer --broker-list localhost:9092 --topic test
# 创建消费者
kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning
# 关闭kafka(在kafka的bin目录下)
kafka-server-stop
# 关闭zookeeper
zookeeper-server-stop

删除topic

kafka-topics --delete  --zookeeper localhost:2181 --topic test

5. 参考资料

1. 《Apache Kafka实战》
2.  https://www.orchome.com/5#/collapse-1005