阿里一面,说说你知道消息中间件的应用场景有哪些?_中间件数据还没入库前端业务场景(2)

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供:

在这里插入图片描述

因篇幅有限,仅展示部分资料

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以点击这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

特性ActiveMQRabbitMQRocketMQKafka
生产者消费者模式支持支持支持支持
发布订阅模式支持支持支持支持
请求回应模式支持支持不支持不支持
Api完备性
多语言支持支持支持java支持
单机吞吐量万级万级万级十万级
消息延迟微秒级毫秒级毫秒级
可用性高(主从)高(主从)非常高(分布式)非常高(分布式)
消息丢失理论上不会丢失理论上不会丢失
文档的完备性教高
提供快速入门
社区活跃度
商业支持商业云商业云

3、MQ特点

先进先出

先进先出,是队列最明显的特点。消息队列的顺序在入队的时候就基本已经确定了,一般是不需人工干预的。而且,最重要的是,数据是只有一条数据在使用中。 这也是MQ在诸多场景被使用的原因。

发布订阅

发布订阅是一种很高效的处理方式,如果不发生阻塞,基本可以当做是同步操作。这种处理方式能非常有效的提升服务器利用率,这样的应用场景非常广泛。

持久化

持久化确保MQ的使用不只是一个部分场景的辅助工具,而是让MQ能像数据库一样存储核心的数据,保证MQ的可靠性。

分布式

在现在大流量、大数据的使用场景下,只支持单体应用的服务器软件基本是无法使用的,支持分布式的部署,才能被广泛使用。而且,MQ的定位就是一个高性能的中间件。

4、应用场景

消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋、海量日志数据同步、分布式事务等问题,实现高性能,高可用,可伸缩和最终一致性架构。

4.1 应用解耦

场景说明:在一般购物场景中,用户下单后,订单系统一般需要通知库存系统,在以前是通过接口调用进行通知。

通过接口调用的缺点:订单系统与库存系统耦合度高,容易出现雪崩事故,假如库存系统无法访问,则订单减库存将失败,从而导致订单失败,当调用量到一定程度后,会导致订单系统集群访问时间变长。

引入应用消息队列后的方案

在这里插入图片描述

订单系统:在用户下单后,订单系统完成本地持久化处理后将消息写入消息队列,写入成功后返回用户订单下单成功。
库存系统:订阅MQ中下单的消息,获取下单信息,库存系统根据下单信息,进行库存增或减操作。
该方案的关键步骤

在下单时库存系统即使不能正常使用,也不影响正常下单,因为下单后,订单系统写入消息队列就不再关心其他的后续操作了,只要达成最终一致性即可。实现订单系统与库存系统的应用解耦。

4.2 异步消息

场景说明:一般用户注册后,需要给用户发送注册邮件和短信。以前的步骤可分为:串行的方式、并行方式。

  1. 串行方式:将用户注册信息写入数据库,写入成功后先发送注册邮件,再发送注册短信。只有以上三个任务全部完成后,才返回给客户端成功信息。

在这里插入图片描述

  1. 并行方式:将用户注册信息写入数据库,写入成功后同时发送注册邮件和注册短信。以上三个任务完成后,才返回给客户端成功信息。相对于串行而言,并行的方式可以提高处理的时间。

在这里插入图片描述

问题分析

假设三个业务节点每个使用50毫秒钟,不考虑网络等其他开销,则串行方式的时间是150毫秒,并行的时间可能是100毫秒。
因为CPU在单位时间内处理的请求数是一定的,假设CPU1秒内吞吐量是100次。则串行方式1秒内CPU可处理的请求量是7次(1000/150)。并行方式处理的请求量是10次(1000/100)
如以上案例描述,传统的方式系统的性能(并发量,吞吐量,响应时间)会有瓶颈。

将发送注册邮件和注册短信的步骤通过消息队列解耦

在这里插入图片描述

由以上架构可知,用户的响应时间相当于是注册信息写入数据库的时间,也就是50毫秒。注册邮件,发送短信写入消息队列后,直接返回,因此写入消息队列的速度很快,基本可以忽略,因此用户的响应时间可能是50毫秒。因此架构改变后,系统的吞吐量提高到每秒20 QPS。比串行提高了3倍,比并行提高了两倍。

4.3 流量削锋

流量削锋消息队列中也是普遍应用,一般在秒杀或团抢活动中使用广泛。

场景说明:秒杀活动,一般会因为流量过大,导致流量暴增,应用或者数据库挂掉。为解决这个问题,一般需要在应用前端加入消息队列。

架构如下

在这里插入图片描述

加入消息队列的好处

  1. 可以控制活动的人数
  2. 可以缓解短时间内高流量压垮应用

用户的请求,服务器接收后,首先写入消息队列。假如消息队列长度超过最大数量,则直接抛弃用户请求或跳转到错误页面。
秒杀业务根据消息队列中的请求信息,再做后续处理。

4.4 海量日志数据同步

场景说明:在微服务体系下,项目往往是集群部署,那么就需要一个统一日志平台来查询各个实例的日志,但集群中的日志信息往往都是海量数据,单一的日志采集工具不能满足业务的需要,因此需要将消息队列用在日志处理中,比如Kafka的应用,解决大量日志传输的问题。

架构简化如下

在这里插入图片描述

架构说明

  1. 日志采集客户端,负责日志数据采集,定时写受写入Kafka队列
  2. Kafka消息队列,负责日志数据的接收,存储和转发
  3. 日志处理应用:订阅并消费kafka队列中的日志数据

4.5 分布式事物

分布式事务又分为强一致,弱一致,和最终一致性

  1. 强一致

如何自学黑客&网络安全

黑客零基础入门学习路线&规划

初级黑客
1、网络安全理论知识(2天)
①了解行业相关背景,前景,确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。(非常重要)

2、渗透测试基础(一周)
①渗透测试的流程、分类、标准
②信息收集技术:主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理,利用方法、工具(MSF)、绕过IDS和反病毒侦察
④主机攻防演练:MS17-010、MS08-067、MS10-046、MS12-20等

3、操作系统基础(一周)
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全(系统入侵排查/系统加固基础)

4、计算机网络基础(一周)
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析(HTTP、TCP/IP、ARP等)
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御:主动/被动攻击、DDOS攻击、CVE漏洞复现

5、数据库基础操作(2天)
①数据库基础
②SQL语言基础
③数据库安全加固

6、Web渗透(1周)
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具:Nmap、BurpSuite、SQLMap、其他(菜刀、漏扫等)
恭喜你,如果学到这里,你基本可以从事一份网络安全相关的工作,比如渗透测试、Web 渗透、安全服务、安全分析等岗位;如果等保模块学的好,还可以从事等保工程师。薪资区间6k-15k

到此为止,大概1个月的时间。你已经成为了一名“脚本小子”。那么你还想往下探索吗?

如果你想要入坑黑客&网络安全,笔者给大家准备了一份:282G全网最全的网络安全资料包评论区留言即可领取!

7、脚本编程(初级/中级/高级)
在网络安全领域。是否具备编程能力是“脚本小子”和真正黑客的本质区别。在实际的渗透测试过程中,面对复杂多变的网络环境,当常用工具不能满足实际需求的时候,往往需要对现有工具进行扩展,或者编写符合我们要求的工具、自动化脚本,这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中,想要高效地使用自制的脚本工具来实现各种目的,更是需要拥有编程能力.

如果你零基础入门,笔者建议选择脚本语言Python/PHP/Go/Java中的一种,对常用库进行编程学习;搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP, IDE强烈推荐Sublime;·Python编程学习,学习内容包含:语法、正则、文件、 网络、多线程等常用库,推荐《Python核心编程》,不要看完;·用Python编写漏洞的exp,然后写一个简单的网络爬虫;·PHP基本语法学习并书写一个简单的博客系统;熟悉MVC架构,并试着学习一个PHP框架或者Python框架 (可选);·了解Bootstrap的布局或者CSS。

8、超级黑客
这部分内容对零基础的同学来说还比较遥远,就不展开细说了,附上学习路线。
img

网络安全工程师企业级学习路线

img
如图片过大被平台压缩导致看不清的话,评论区点赞和评论区留言获取吧。我都会回复的

视频配套资料&国内外网安书籍、文档&工具

当然除了有配套的视频,同时也为大家整理了各种文档和书籍资料&工具,并且已经帮大家分好类了。

img
一些笔者自己买的、其他平台白嫖不到的视频教程。
img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以点击这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 25
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
消息中间件有以下常见的应场景[^1][^2]: 1. 异步通信:消息中间件可以实现异步通信,发送方将消息发送到消息中间件,接收方从消息中间件中获取消息进行处理。这种方式可以提高系统的响应速度和吞吐量,减少系统之间的耦合。 2. 解耦系统:消息中间件可以将系统之间的耦合度降低,每个系统只需要关注自己的业务逻辑,通过消息中间件进行通信,系统之间的依赖性更低。 3. 流量削峰:在高并发的情况下,消息中间件可以起到流量削峰的作用。当系统的请求量超过系统的处理能力时,可以将请求发送到消息中间件中进行排队,系统按照自己的处理能力从消息中间件中获取消息进行处理,避免系统崩溃。 4. 日志收集:消息中间件可以用于日志的收集和处理。系统将日志消息发送到消息中间件,然后由专门的日志处理系统从消息中间件中获取日志进行处理和存储。 5. 分布式事务:消息中间件可以用于实现分布式事务。当多个系统之间需要进行事务操作时,可以将事务消息发送到消息中间件中,由消息中间件保证事务的一致性和可靠性。 6. 实时数据处理:消息中间件可以用于实时数据处理。当系统需要对实时数据进行处理和分析时,可以将实时数据发送到消息中间件中,然后由专门的实时数据处理系统从消息中间件中获取数据进行处理和分析。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值