背景
之前做日志收集模块时,用到flume。另外也有的方案,集成kafaka来提升系统可扩展性,其中涉及到消息队列
当时自己并不清楚为什么要使用消息队列。
而在我自己提出的原始日志采集方案中不适用消息队列
时,有几个基本问题:1. 日志文件上传过程,有个基本的生产者-消费者
问题;2. 另外系统崩溃时,数据丢失的处理问题。
今天,几位同事再次谈到消息队列
这么个东西,很NB的样子,我也想弄清楚,OK,搞起。
什么是消息队列
消息队列(Message Queue,简称MQ),从字面意思上看,本质是个队列,FIFO先入先出,只不过队列中存放的内容是message
而已。其主要用途:不同进程Process/线程Thread之间通信。为什么会产生消息队列
?这个问题问的好,我大概查了一下,没有查到最初产生消息队列的背景,但我猜测可能几个原因: