分布式消息队列Kafka

分布式消息队列Kafka

Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。

kafka是最初由linkedin公司开发的，使用scala语言编写，kafka是一个分布式，分区的，多副本的，多订阅者的日志系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等

Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于的特性，但是在实现上完全不同，此外它并不是规范的实现。对消息保存时根据进行归类，发送消息者成为消息接受者成为此外集群有多个实例组成，每个实例成为。无论是集群，还是和都依赖于来保证系统可用性集群保存一些信息

架构

组成架构

1. Producer：消息生产者，就是向 kafka broker 发消息的客户端；

2)Consumer：消息消费者，向 kafka broker 取消息的客户端；

3. Consumer Group（CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内一个消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

4. Broker：一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker可以容纳多个 topic。

5. Topic：可以理解为一个队列， 生产者和消费者面向的都是一个 topic ；

6. Partition ：为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上， 一个 topic 可以分为多个partition ，每个 partition 是一个有序的队列；

7. Replica ：副本，为保证集群中的某个节点发生故障时，该节点上的 partition 数据不丢失，且kafka 仍然能够继续工作，kafka 提供了副本机制，一个 topic 的每个分区都有若干个副本，一个 leader 和若干个 follower。

8. leader ：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是 leader。

follower: 每个分区多个副本中的从，实时从中同步数据，保持和数据的同步。发生故障时，某个follower

好处

可靠性：分布式的，分区，复制和容错的。

可扩展性：kafka消息传递系统轻松缩放，无需停机。

耐用性：kafka使用分布式提交日志，这意味着消息会尽可能快速的保存在磁盘上，因此它是持久的。

性能：kafka对于发布和订阅消息都具有高吞吐量。即使存储了许多TB的消息，他也爆出稳定的性能。

kafka非常快：保证零停机和零数据丢失。

Api

• 命令行操作

  1.查看所有topic

  bin/kafka-topics.sh --zookeeper hadoop102:2181 --list

  2.创建topic

  bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic
  first

  3.删除topic

  bin/kafka-topics.sh --zookeeper hadoop102:2181 --delete --topic first

  4.启用produce发送消息

  bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first

  5.消费消息

  bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 --topic first //读取当前的消息

  bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first //读取所有的消息（包含之前的消息）

  6.查看某个topic的信息

  bin/kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic first

  7.修改分区信息

  bin/kafka-topics.sh --zookeeper hadoop102:2181 --alter --topic first --partitions 6

• Java Api

  1.producer

  Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程—main线程和Sender线程，以及一个线程共享变量—RecordAccumulator。main 线程将消息发送给RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafkabroker。

  1）异步提交

  需要用到的类：

  KafkaProducer：需要创建一个生产者对象，用来发送数据

  ProducerConfig：获取所需的一系列配置参数

  ProducerRecord：每条数据都要封装成一个ProducerRecord 对象

  producer的send方法默认是异步，由两个重载方法组成。带回调函数的方法参数为RecordMetadata 和 Exception。如果Exception为null，说明没有产生异常。

  异步提交失败会自动重试。

  2）同步提交

  send方法返回的是一个Future对象，我们可以利用这一点来实现同步提交。如ÿ