Kafka
文章平均质量分 64
数据工程师~老洋
路漫漫其修远兮,吾将上下而求索
展开
-
简述Kafka的生产者、消费者、分区副本机制、存储。。。
一、Producer:生产者,负责往Kafka的Topic中生产数据的。 二、Topic:主题,Kafka中用于区分数据的分类 例如: 用户行为数据的Topic 业务数据的Topic 爬虫数据的Topic Kafka:类比于数据库存储的,Topic可以理解为表的概念 三、Consumer:消费者,用于从Kafka的Topic中消费数据的,然后进行处理 1、任何一个消费者都可以消费Kafka中的多个主题。 2、任何一个Topic都可以被多个消费者消费。 3、每个消费者消费某个主题,默认都只能消费主题中的原创 2021-06-23 11:10:42 · 365 阅读 · 0 评论 -
简述Kafka的特点
一、可靠性:分布式结构存储数据,构建多台kafkaServer集群 分布式存储:往kafka中生产数据时,必然这个数据被分布式存放了。 分区:每一个主题Topic都可以有多个分区 当生产者往主题中生产数据时,会写入不同的分区 每个分区存储在不同的机器上 每一条数据会根据分区规则写入对应的分区 二、可扩展性:横向扩展,机器不够加机器 三、耐用性:Kafka中的数据分区存储在每台机器的磁盘上的,数据存储在Kafka中不易丢失。 为什么我们以前看到的读写磁盘都比较慢? 磁盘中分散存放的,牺牲大量原创 2021-06-22 15:21:13 · 2676 阅读 · 0 评论