Kafka消息队列大数据实战教程-第三篇（Kafka分区和副本的创建）

前言

重点：分区机制是kafka实现高吞吐的秘密武器

本篇我们就来了解一下怎么合理的配置分区和副本，是我们使用Kafka的关键。

一、为什么要使用分区呢？

1.1 存储角度

便于合理的使用存储资源，实现负载均衡的效果（将海量的数据按照分区切块存储在不同的Broker上面）。

1.2 计算角度

提高并行度，生产者可以按照分区为单位发送数据，消费者也可以按照分区为单位消费数据。

二、分区的三种规则

2.1 指明partition的情况

如果发送数据时指定了partition，直接将指明的值作为partition值，列如指明了partition=0，则全部数据发送到0号分区。

2.2 没有指明partition但是有消息key的情况

如果发送数据时