birdswillbecomdragon的博客

Kafka是一个高吞吐量、分布式的发布—订阅消息系统，定义为分布式流式处理平台。主题：将一组消息抽象归纳为一个主题(Topic)，一个主题对应着消息的一个分类。 消息：消息是kafka通信的基本单位，由一个固定长度的消息头和可变长度的消息体构成。 分区（Partition）：一组消息归纳为主题，而每个主题又被分成一个或多个分区，每个分区由一些列有序、不可变的消息组成，是一个有序队列。每个...

生产者：组装消息和topic，同时可指定key或分区，组装为ProducerRecord对象，序列化后进行网络传输，发送到相应的broker，返会一个响应(包含topic和分区信息以及分区里的偏移量)。public static KafkaProducer<String, String> createProducer() { Properties proper...

路径

一、一些概念主题类似与数据库表或文件夹的概念，主题可分为多个分区，一个分区就是一个提交日志，消息以追加的方式写入分区，读取数据按照先入先出方式顺序读取(只能保证单个分区消息顺序读取)。1.通过分区实现数据的冗余和伸缩性。2.分区可分布在不同服务器上，一个主题可横跨多个服务器。生产者：创建消息，发布到特定的主题上。默认情况是均衡的发布到当前主题的所有分区。可通过消息键和分区器指定...