首次探索消息队列——kafka
1.kafka消息队列(基于发布订阅模式的消息队列,应用于大数据实时处理领域)1.点对点模式(一对一,消费者主动拉去,使用后删除)2.发布订阅模式(一对多,很多消费者消费,消费后不删除,记住自己消费到的地方)celery是基于任务的队列,而不是消息2.基础架构1.方便扩展,提高吞吐量,一个topic分为多个partition2.配合分区设计,提出消费者组概念,组内消费者并进行消费3.提高可用性,为每个partition增加若干副本,类似于NameNode Ha[外链图片转存失败,源站可
原创
2020-12-13 11:00:44 ·
186 阅读 ·
0 评论