大数据(kafka-及消息队列的应用场景)

进程间通信

进程通信的目的

数据传输 
一个进程需要将它的数据发送给另一个进程,发送的数据量在一个字节到几M字节之间

共享数据 
多个进程想要操作共享数据,一个进程对共享数据

通知事 
一个进程需要向另一个或一组进程发送消息,通知它(它们)发生了某种事件(如进程终止时要通知父进程)。

资源共享 
多个进程之间共享同样的资源。为了作到这一点,需要内核提供锁和同步机制。

进程控制 
有些进程希望完全控制另一个进程的执行(如Debug进程),此时控制进程希望能够拦截另一个进程的所有陷入和异常,并能够及时知道它的状态改变。

管道(pipe)
管道是一种最基本的IPC机制,作用于有血缘关系的进程之间,完成数据传递。一个进程需要将它的数据发送给另一个进程,发送的数据量在一个字节到几M字节之间。

信号量(semophore)
信号量是一个计数器,可以用来控制多个进程对共享资源的访问。它常作为一种锁机制,防止某进程正在访问共享资源时,其他进程也访问该资源。因此,主要作为进程间以及同一进程内不同线程之间的同步手段。

消息队列(message queue)
消息队列是消息的链接表,包括Posix消息队列system V消息队列。有足够权限的进程可以向队列中添加消息,被赋予读权限的进程则可以读走队列中的消息。消息队列克服了信号承载信息量少,管道只能承载无格式字节流以及缓冲区大小受限等缺点。

信号(singal)
信号是一种比较复杂的通信方式,用于通知接收进程某个事件已经发生。
主要作为进程间以及同一进程不同线程之间的同步手段。

共享内存(shared memory)
共享内存就是映射一段能被其他进程所访问的内存,这段共享内存由一个进程创建,但多个进程都可以访问。共享内存是最快的 IPC 方式,它是针对其他进程间通信方式运行效率低而专门设计的。它往往与其他通信机制,如信号量,配合使用,来实现进程间的同步和通信。

使得多个进程可以访问同一块内存空间,是最快的可用IPC形式。是针对其他通信机制运行效率较低而设计的。往往与其它通信机制,如信号量结合使用,来达到进程间的同步及互斥。

套接字(socket)
套接字也是一种进程间通信机制,与其他通信机制不同的是,它可用于不同机器间的进程通信
更为一般的进程间通信机制,可用于不同机器之间的进程间通信。
起初是由Unix系统的BSD分支开发出来的,但现在一般可以移植到其它类Unix系统上:Linux和System V的变种都支持套接字。

消息队列的使用场景

异步处理
场景说明:用户注册后,需要发注册邮件和注册短信。常用处理方式:1.同步的方式;2.并行方式;3.异步方式
(1)串行方式:将注册信息写入数据库成功后,发送注册邮件,再发送注册短信。以上三个任务全部完成后,返回给客户端

faf2b8b3e135fcc9380d8df5cda35bc31b6.jpg

(2)并行方式:将注册信息写入数据库成功后,发送注册邮件的同时,发送注册短信。以上三个任务完成后,返回给客户端。与串行的差别是,并行的方式可以提高处理的时间

971fa2f277c7c9eea63c984805b49b4b6fe.jpg

场景说明:用户注册后,需要发注册邮件和注册短信。常用处理方式:1.串行的方式;2.并行方式;3.异步方式 引入消息队列,将不是必须的业务逻辑,异步处理。改造后的架构如下:

ba5d0ab2362544966c04e57e763cfea9fbc.jpg

应用解耦

场景说明:用户下单后,订单系统需要通知库存系统。传统的做法是,订单系统调用库存系统的接口。如下图

128dc69750b0e4abdad7bfbc7c4bffe3e9d.jpg

传统模式的缺点:
假如库存系统无法访问,则订单减库存将失败,从而导致订单失败
订单系统与库存系统耦合

场景说明:用户下单后,订单系统需要通知库存系统。引入消息队列对系统进行解耦。如下图

5dded13d5ef55b8a1e7379d14267636be40.jpg

订单系统:用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功
库存系统:订阅下单的消息,采用拉/推的方式,获取下单信息,库存系统根据下单信息,进行库存操作
假如:在下单时库存系统不能正常使用。也不影响正常下单,因为下单后,订单系统写入消息队列就不再关心其他的后续操作了。实现订单系统与库存系统的应用解耦

流量削峰

应用场景:秒杀活动,一般会因为流量过大,导致流量暴增,应用挂掉。为解决这个问题,一般需要在应用前端加入消息队列。
可以控制活动的人数
可以缓解短时间内高流量压垮应用

8f0ce9d618117e788a88bf0d61b89bc0621.jpg

用户的请求,服务器接收后,首先写入消息队列。假如消息队列长度超过最大数量,则直接抛弃用户请求或跳转到错误页面
秒杀业务根据消息队列中的请求信息,再做后续处理

日志处理

应用场景:日志处理是指将消息队列用在日志处理中,比如Kafka的应用,解决大量日志传输的问题。架构简化如下
日志采集客户端,负责日志数据采集,定时写入Kafka队列
Kafka消息队列,负责日志数据的接收,存储和转发
日志处理应用:订阅并消费kafka队列中的日志数据

9b2d67fc885ce298589ba63e66d229d1690.jpg

消息通讯

消息通讯是指,消息队列一般都内置了高效的通信机制,因此也可以用在纯的消息通讯。比如实现点对点消息队列,或者聊天室等

1,点对点通讯:客户端A和客户端B使用同一队列,进行消息通讯。

7459610b9051ef00903c4dea1a0ad5cbd46.jpg

2,聊天室通讯:客户端A,客户端B,客户端N订阅同一主题,进行消息发布和接收。实现类似聊天室效果。

9b1d8f2a81d042f897944a6d73d940d5f38.jpg

 

 

 

 

转载于:https://my.oschina.net/u/3728166/blog/3079690

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值