项目1在线交流平台-5.Kafka构建异步消息系统-2.Kafka入门-认识、安装与测试

参考牛客网高级项目教程

尚硅谷kafka教学笔记

1. 认识Kafka

kafka简介

• Kafka是一个分布式的流媒体平台。
• 应用：
  • 消息系统、
  • 日志收集、
  • 用户行为追踪、
  • 流式处理。

Kafka特点

• 高吞吐量、
  • kafka保证高吞吐量的机制
  • 单机写入TPS约百万条/s
• 消息持久化、
  • 1.消息直接持久化在普通磁盘上，就是直接append到磁盘里去，
    • 这样的好处是直接持久化，数据不会丢失，
    • 可以处理TB级海量数据
  • 2.顺序写入：避免随机写入导致的磁盘频繁的寻址，
    • 对磁盘的顺序读写性能其实是高于对内存的读写的
  • 3.删除数据的两种策略：
    • 基于时间删除默认7天
    • 基于partition文件的大小删除。
  • 4.Memory Mapped Files：mmf直接利用操作系统的Page来实现文件到物理内存的映射，完成之后对物理内存的操作会直接同步到硬盘，大大提高了IO速率，省去了用户空间到内核空间的复制。它的缺点显而易见–不可靠，当发生宕机而数据未同步到硬盘时，数据会丢失，Kafka提供了produce.type参数来控制是否主动的进行刷新（默认为sync,同步模式），如果kafka写入到mmp后立即flush再返回给生产者则为同步模式，反之为异步模式。
• 高可靠性、高扩展性。

Kafka 基础架构

1） Producer ： 消息生产者

• 就是向 kafka broker 发消息的客户端；

2） Consumer ： 消息消费者

• 向 kafka broker 取消息的客户端；

3） Consumer Group （CG）消费者组：

• 由多个 consumer 组成
  • 消费组内的每个消费者消费一个分区的数据，
  • 相当于将之前一个消费者消费一个topic所有分区数据的压力进出拆分，提高性能
• 消费者组内每个消费者负责消费一个topic主题下的不同分区的数据
• 每个消费组消费一个同一个topic主题
• 一个分区只能由一个组内消费者消费；
• 因此最佳实践是，一个topic有多少分区，就设计一组消费组有多少个消费者
• 消费者组之间互不影响。
  • 所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

4） Broker 服务器：

• 一台 kafka 服务器就是一个 broker。
• 一个集群由多个 broker 组成。一个 broker可以容纳多个 topic。

5） Topic ：

• kafka使用的是订阅模式，topic是订阅主题
  • 是生产者生产出消息存放的位置，相当于一个文件夹
  • 也是对存放消息的一个分类，例如点赞主题，系统消息主题等储存不同类别的数据
• 可以理解为一个队列， 生产者和消费者面向的都是一个 topic；

6） Partition：分区

kafka基本原理介绍，以及重新选举，replica复制机制，isr等

• 为了实现分布式扩展性，

  • 一个非常大的 topic 可以分布到多个 broker（即服务器）上，
  • 一个 topic 可以分为多个 partition
  • partion可以看作一个有序的队列，里面的数据是储存在硬盘中的，追加式的

  

1）offset：位置标识

• 每一条数据都有一个offset，是每一条数据在该partition中的唯一标识。

• 各个consumer控制和设置其在该partition下消费到offset位置，

  • 这样下次可以以该offset位置开始进行消费。
  • 这样保证一个消费者挂了后，其他消费者能够继续从这个分区的offset位置继续消费，而不是重新消费，解耦

• 旧版本保存在zookeeper中，新版本保存在broker的topic中

  • 各个consumer的offset位置默认是在某一个broker当中的topic中保存的
  • 为防止该broker宕掉无法获取offset信息，可以配置在每个broker中都进行保存，配置文件中配置
  

7） Replica： 副本

• 为保证集群中的某个节点发生故障时， 该节点上的 partition 数据不丢失， 且 kafka 仍然能够继续工作，
• kafka 提供了副本机制，一个 topic 的每个分区都有若干个副本，
• 一个 leader 和若干个 follower。

8） leader ：主副本

• 每个分区多个副本的“主”，
  • 可以从主副本中获取数据，处理请求
  • 从副本follower只做备份，不能从follower取数据，做响应
• 生产者发送数据的对象，以及消费者消费数据的对象都是 leader。

9） follower： 从副本

• 每个分区多个副本中的“从”，

• 实时从 leader 中同步数据，保持和 leader 数据的同步。

  • 分布式集群中，从副本与主副本不在一个Broker服务器，
  • 这样一个服务器挂了，可以将另一个服务器中的follower变成新的leader ，继续使用

• leader 发生故障时，某个 follower 会成为新的 follower。

  

Zookeeper ：集群管理

• kafka对与zookeeper是强依赖的，是以zookeeper作为基础的，即使不做集群，也需要zk的支持

• zk说白了，就是一个节点服务系统，至于用这个节点做什么，做单活、开关锁还是做检测服务器存活状态，都是业务代码根据这个节点做的一些逻辑处理。以下是kafka默认在zk中的节点层级结构：

  

2. Kafka的安装

kafka安装及配置过程

mv kafka_2.12-2.3.0/ kafka

• 可以修改解压后的kafka文件夹名称，方便今后使用
• 之后需要配置Zookeeper和kafka的配置文件

3. Kafka的使用测试

1. 启动/停止Zookeeper

• -daemon参数的目的，可以在后台启动Zookeeper，输出的信息在保存在执行目录的logs/zookeeper.out文件中。
  • 这样主控制台可以继续使用，无需另开控制台

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
bin/zookeeper-server-stop.sh -daemon config/zookeeper.properties

2. 启动/停止Kafka

bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-server-stop.sh config/server.properties

3. 创建/删除topic

• 先测试一个副本，一个分区，并创建主题为test

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
bin/kafka-topics.sh --zookeeper localhost:2181 --delete  --topic test

4. 查看主题

bin/kafka-topics.sh --list --zookeeper localhost:2181

5. 发送消息

bin/kafka-console-producer.sh --broker-list  192.168.181.136:9092 --topic test

6. 接收消息

bin/kafka-console-consumer.sh --bootstrap-server 192.168.181.136:9092 --topic test --from-beginning

7. 查看特定主题的详细信息

bin/kafka-topics.sh --zookeeper localhost:2181 --describe  --topic test

8. 删除主题

bin/kafka-topics.sh --zookeeper localhost:2181 --delete  --topic test