kafaka:是一个分布式基于发布/订阅模式的消息队列(开源的大数据流系统)
发布/订阅 :消息的发布者不会将消息直接发送给特定的订阅者,而是将发布的消息分为不同的类别,订阅者只接收感兴趣的信息
使用场景:消峰
解耦:将源存放在消息队列中,目标任务直接去获取
异步通信:允许将一个消息放在队列中,不立即处理,等需要的时候再去处理他们
消息队列的两种模式
点队点: 消费者主动拉取数据,消息消费完之后,会清空下消息
发布/订阅 :可以有多个topic主题
消费者消费数据之后,不删除数据
每个消费者都是相互独立的,都可以消费到数据
kafka的基础框架
1 提高吞吐量,一个topic分为多个partition(副本,作为数据备份)
2 配合分区的设计,提出消费者组,每个消费者并行消费,一个分区的数据只能由一个消费者消费
配置文件:
Docker.id =”” 每一个docker的唯一标识
kafaka
最新推荐文章于 2024-09-29 18:33:00 发布