消息队列总结

应用场景

• 异步处理

• 解耦

• 日志采集
  Flume

• 流量消峰

kafka

Kafka 是一个分布式流媒体平台，kafka官网：http://kafka.apache.org/

安装

​

Kafka 与其它 MQ 相比，其最大的特点就是高吞吐率。为了增加存储能力，Kafka 将所有
的消息都写入到了低速大容的硬盘。按理说，这将导致性能损失，但实际上，kafka 仍可保
持超高的吞吐率，性能并未受到影响。其主要采用了如下的方式实现了高吞吐率。
 顺序读写：Kafka 将消息写入到了分区 partition 中，而分区中消息是顺序读写的。顺序
读写要远快于随机读写。
 零拷贝：生产者、消费者对于 kafka 中消息的操作是采用零拷贝实现的。
 批量发送：Kafka 允许使用批量消息发送模式。
 消息压缩：Kafka 支持对消息集合进行压缩。
6.Kafka 集群搭建

6.1Kafka 的下载

https://kafka.apache.org/downloads

​