消息队列与Kafka

最新推荐文章于 2024-01-29 22:59:32 发布

anxian8397

最新推荐文章于 2024-01-29 22:59:32 发布

阅读量124

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/chorm590/p/mq_and_kafka.html

版权

2019-04-09

关键词：消息队列、为什么使用消息队列、消息队列的好处、消息队列的意义、Kafka是什么

本篇文章系本人就当前所掌握的知识关于消息队列与 kafka 知识点的一些简要介绍，不保证文章所述内容的绝对、完全正确性。

1、消息队列于消息系统的意义

笔者这里所提到的消息系统可不是那些社交网站上用于站内交流的消息系统。

在互联网中，但凡涉及到消息传递的过程，都可以称之为是一个消息系统，规模或大或小而已。举个例子：12306 购票过程就包含了消息系统，客户的查询、下单等请求都被封装成消息传递到服务器上并被处理。还有淘宝京东的购物流程，学校图书馆的借阅系统等等都涉及到消息系统。消息系统在互联网中的应用是非常广泛的。

在一个消息系统中，服务器端即消息处理端是至关重要的。且不管你配备什么配置的硬件，它的处理能力始终是有上限的。如果单位时间内消息产生的数量超过了服务器所能处理的数量，那我们的系统就肯定要出问题了。当然我们可以通过多部署几台服务器以分布式的方式来分摊消息压力来解决，但成本是个大问题啊。消息爆发的情况总是少数，你看淘宝一年就搞一次购物节，12306 一年也就那么几次抢票高峰期。因此，为我们的消息系统引入消息队列就是一个最佳选择了。

什么是消息队列呢？

我们可以简单地把它理解成是消息系统中介于客户端与服务端之间的一个 消息中转站 。消息队列在消息系统中主要有以下 3 个作用

1. 应用解耦

2. 流量削峰

3. 异步消息

应用解耦

相信你一定还记得软件设计的原则就是：高内聚，低耦合。在没有引入消息队列模块时，应用模块之间通常都是直接进行消息传递过程的。我们以 12306 购票过程为例，用户购票下单的过程与车票库存直接相关。当用户下单购票时，会同时调用车票库存模块，使车票余量减少。这样就使得下单模块与车票库存模块存在强耦合关系。当车票库存模块服务不稳定时，例如，刚好要下单时库存模块就暂停服务了，这样一来就可能直接引发下单失败等一系列不良体验。而若加入了消息队列，下单请求将会直接发送到消息队列中暂存，待到车票库存模块恢复工作后再主动去消费下单请求。

流量削峰

这个就是前面提到的 “消息爆发” 的情况了，俗称 “流量爆发” 。这种情况常见于电商网站的秒杀活动里。在引入了消息队列以后，所有来自客户端的请求都被积压在消息队列里，任凭你产生了多大的瞬时流量，我服务器就按照我所能处理的速率按顺序来逐条消费这些请求。这样就可以保证我们的服务器在任何情况下都能正常服务，只是将这种流量爆增的代价转架到客户端头上使他们多排排队而已。

异步消息

这种情况主要是应用于请求需要等待反馈结果情况。当有一条请求被发起时，各响应模块对请求的处理也是需要时间的，若所依赖的模块再多一点，响应时延可能就会很长了。那我们知道：用户都是急躁的！所以我们可以通过引入消息队列的方式来异步处理请求消息。一种常用的方式是，用户通过网页下达了一条指令，当后台接收到这条指令并将它压到消息队列时就立即返回 “成功” 的提示，随后再等待各模块去执行这一指令。这种方式可以大大提升用户体验。

消息队列真这么优秀吗？

前面介绍了这么多消息队列的好处，并且现在的互联网消息队列的使用也确实是非常广泛。但消息队列也是有缺点的，它最大的一个缺点就是会增加 “系统复杂度” 。对于一个系统来讲，模块越少越简单，运行起来出现故障的几率就越小，换句话说就是越容易稳定。而我们引入消息队列这一行为，至少是给我们的系统增加了一个模块，这必然会提升系统复杂度。另一个缺点是你不可避免要面对消息队列模块故障的问题。当消息队列模块故障了，你的整个消息系统也就瘫痪了。不过总体而言，引入消息队列还是弊大于利的。

2、Kafka 简介

消息队列框架还是不少的，不同的消息队列框架有各自不同的适用场景。在大数据领域里要数 Kafka 比较热门。

2.1、Kafka 是什么

Kafka 是由 LinkedIn 团队开发的一款 发布/订阅 模型的分布式流处理平台 ，主要用于对数据流的存储与处理。于 2012 年成为 apache 顶级项目之一。Kafka 既然被当作消息队列来使用，那么它的核心功能自然就是高性能的消息发送与消费了。同时 Kafka 还是一个依赖于 Zookeeper 的分布式消息队列。