Kafka
kafka介绍
houpk999
这个作者很懒,什么都没留下…
展开
-
Kafka快速入门四:Kafka监控
1. kafka监控使用插件对Kakfa进行监控,以可视化的形式监控Kafka集群。较常见的有Kafka Monitor和Kafka Manager。其中Kafka Monitor使用简单,但功能很弱。使用较多的是Kafka Manager。1.1 Kafka MonitorKafka Monitor的使用步骤如下所示:①上传jar包KafkaOffsetMonitor...原创 2020-03-21 14:02:13 · 743 阅读 · 0 评论 -
Kafka快速入门三:Kafka API使用
1.Producer API1.1Producer结构及发送消息流程Producer结构Producer由main和sender两个线程,以及一个线程共享变量RecordAccumulator组成。其中main线程有三个器:拦截器、序列化器、分区器。如下图所示,其中topic属于kafka server。Producer消息发送流程如上图所示,步骤如下:①ma...原创 2020-03-20 16:29:19 · 363 阅读 · 0 评论 -
Kafka快速入门二:架构设计
1.Kafka架构演进通过kafka架构演变过程可以更好的理解Kafka架构。第一阶段:原始状态,一个生产者多个消费者第二阶段:分区设计。Kafka的分区也类似Spark的分区,是针对一个topic的分区,当生产速度远大于消费速度时,topic越来越大,这时候可以进行分区,每个分区保存topic一部分数据。分区可以提高吞吐量。分区后,Producer将数据发往不同分区,每个...原创 2020-03-18 17:12:57 · 303 阅读 · 0 评论 -
Kafka快速入门一:基本概念、安装部署和命令行操作
1.基本概念1.1Kafka是什么Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。1.2消息队列应用场景传统消息队列有三大应用场景: 1.异步处理 2.流量消峰 3.解耦1.3消息队列两种模式消息队列两种模式:点对点模式和发布/订阅模式。点对点模式点对点模式中生产者和消费者一对一,消费者收到消息后,这条消息...原创 2020-03-17 18:54:07 · 309 阅读 · 1 评论