Kafka中所有消息是通过Topic为单位进行管理,每个kafak的Topic通常会有多个订阅者,负责订阅发送到该Topic的数据。 Kakfa负责管理集群中每个Topic的一组日志分区数据
生产者将数据发送到相应的Topic。负责寻址将哪个分区发送到Topic的哪个Partion?
例如 round-robin方式 或者基于key(hash取模),实现负载均衡
每组日志分区都是一个有序的不可变的日志序列,分区中的每一个record都被分配一个唯一的序列编号称为offset,Kafka集群会持久化所有发布到Topic的Record信息,默认是168小时
注意:
1.不能保证几个分区之间的顺序
2.同一个分区是先进先出
高并发:快速响应
大数据: 海量数据
kafka通过分区,可以实现高并发、海量数据存储