Kafka从入门到精通

一.Kafka简介

1.简介

        Kafka最初是由LinkedIn公司采用Scala语言开发，基于ZooKeeper，现在已经捐献给了Apache基金会。目前Kafka已经定位为一个分布式流式处理平台，它以 高吞吐、可持久化、可水平扩展、支持流处理等多种特性而被广泛应用。

2.应用场景

（1）日志收集：收集各种服务的log，通过kafka以统一接口服务的方式开放 给各种consumer
（2）消息系统：解耦和生产者和消费者、缓存消息等
（3）流式处理：比如spark streaming和storm

3.特性

（1）高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒；
（2）可扩展性：kafka集群支持热扩展； 
（3）持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失； 
（4）容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）； 
（5）高并发：支持数千个客户端同时读写；

4.消息对比

（1）如果普通的业务消息解耦，消息传输，rabbitMq是首选，它足够简单，管理方便，性能够用。
（2）如果在上述，日志、消息收集、访问记录等高吞吐，实时性场景下，推荐kafka，它基于分布式，扩容便捷。
（3）如果很重的业务，要做到极高的可靠性，考虑rocketMq，但是它太重。需要你有足够的了解。

5.大厂应用

（1）京东通过kafka搭建数据平台，用于用户购买、浏览等行为的分析。成功抗住6.18的流量洪峰。
（2）阿里借鉴kafka的理念，推出自己的rocketmq。在设计上参考了kafka的架构体系。

6.基础组件

（1）zookeeper：信息中心，记录kafka的各种信息的地方
（2）broker：节点，就是你看到的机器
（3）provider：生产者，发消息的
（4）consumer：消费者，读消息的
（5）controller：其中的一个broker，作为leader身份来负责管理整个集群。如果挂掉，借助zk重新选主

7.逻辑组件

（1）topic：主题，一个消息的通道，收发总得知道消息往哪投
（2）partition：分区，每个主题可以有多个分区分担数据的传递，多条路并行，吞吐量大
（3）Replicas：副本，每个分区可以设置多个副本，副本之间数据一致。相当于备份，有备胎更可靠
（4）leader & follower：主从，上面的这些副本里有1个身份为leader，其他的为follower。leader处理partition的所有读写请求

（5）offset：偏移量，消息消费到哪一条了？每个消费者都有自己的偏移量

8.副本集合

（1）AR（assigned replica）：所有副本的统称，AR=ISR+OSR。
（2）ISR（In-sync Replica）：同步中的副本，可以参与leader选主。一旦落后太多（数量滞后和时间滞后两个维度）会被踢到OSR。
（3）OSR（Out-Sync Relipcas）：踢出同步的副本，一直追赶leader，追上后会进入ISR。

二.Springboot集成kafka

生产者

1.引入依赖

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

2.配置文件

server:
  port: 18081
spring:
  kafka:
    bootstrap-servers: 192.168.211.130:9092,192.168.211.130:9093,192.168.211.130:9094
    producer: # producer 生产者
      retries: 0 # 重试次数
      acks: 1 # 应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选0、1、all/-1)
      batch-size: 16384 # 批量大小
      buffer-memory: 33554432 # 生产端缓冲区大小
      #向Kafka发送数据，key采用的序列化方式
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      #向Kafka发送数据，数据采用的序列化方式
      value-serializer: org.apache.kafka.common.serialization.StringSerializer

3.生产者发送消息

@RestController
@RequestMapping(value = "/producer")
public class SendController {

    @Autowired
    private KafkaTemplate kafkaTemplate;

    /***
     * 发送消息
     * topic:要发送的队列
     * msg:发送的消息
     */
    @GetMapping(value = "/send/{topic}/{msg}")
    public String send(@PathVariable(value = "topic")String topic,@PathVariable(value = "msg")String msg){
        //消息发送
        kafkaTemplate.send(topic,msg);
        return "SUCCESS";
    }
}

消费者

步骤基本一致，改动如下

1.配置文件

server:
  port: 18082
spring:
  kafka:
    bootstrap-servers: 192.168.211.130:9092,192.168.211.130:9093,192.168.211.130:9094
    consumer: # consumer消费者
      group-id: mentugroup # 默认的消费组ID
      enable-auto-commit: true # 是否自动提交offset
      auto-commit-interval: 100  # 提交offset延时(接收到消息后多久提交offset)
      # earliest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
      # latest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
      # none:topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常
      auto-offset-reset: latest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

2.创建消息监听类

@Component
public class MessageListener {

    @KafkaListener(topics = {"itmentu"},groupId = "itmentuGroup")
    public void listener(ConsumerRecord<String,String> record){
        //获取消息
        String message = record.value();
        //消息偏移量
        long offset = record.offset();
        System.out.println("读取的消息："+message+"\n当前偏移量："+offset);
    }
}

3.测试

也可以将生产者与消费者建在同一个工程中，配置文件如下

  kafka:
    bootstrap-servers: 192.168.10.30:10903,192.168.10.30:10904
    producer: # producer 生产者
      retries: 0 # 重试次数
      acks: 1 # 应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选0、1、all/-1)
      batch-size: 16384 # 一次最多发送数据量
      buffer-memory: 33554432 # 生产端缓冲区大小
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer

    consumer: # consumer消费者
      group-id: javagroup # 默认的消费组ID
      enable-auto-commit: true # 是否自动提交offset
      auto-commit-interval: 100 # 提交offset延时(接收到消息后多久提交offset)
      auto-offset-reset: latest  #earliest，latest
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer