一篇文章搞懂分布式,高并发,多线程,高可用的区别和联系

当提起这三个词的时候,是不是很多人都认为分布式=高并发=多线程?

当面试官问到高并发系统可以采用哪些手段来解决,或者被问到分布式系统如何解决一致性的问题,是不是一脸懵逼?

确实,在一开始接触的时候,不少人都会将三者混淆,误以为所谓的分布式高并发的系统就是能同时供海量用户访问,而采用多线程手段不就是可以提供系统的并发能力吗?

实际上,他们三个总是相伴而生,但侧重点又有不同。


分布式

分布式更多的一个概念,是为了解决单个物理服务器容量和性能瓶颈问题而采用的优化手段。 该领域需要解决的问题极多,在不同的技术层面上,又包括:分布式文件系统、分布式缓存、分布式数据库、分布式计算等,一些名词如Hadoop、zookeeper、MQ等都跟分布式有关。从理念上讲,分布式的实现有两种形式:

  1. 水平扩展: 当一台机器扛不住流量时,就通过添加机器的方式,将流量平分到所有服务器上,所有机器都可以提供相当的服务;

  2. 垂直拆分: 前端有多种查询需求时,一台机器扛不住,可以将不同的需求分发到不同的机器上,比如A机器处理余票查询的请求,B机器处理支付的请求。


高并发

相对于分布式来讲,高并发在解决的问题上会集中一些,其反应的是同时有多少量:比如在线直播服务,同时有上万人观看。

高并发可以通过分布式技术去解决,将并发流量分到不同的物理服务器上。但除此之外,还可以有很多其他优化手段:比如使用缓存系统,将所有的,静态内容放到CDN等;还可以使用多线程技术将一台服务器的服务能力最大化。

多少QPS算是高并发?

比如微博每天1亿多pv的系统一般也就1500QPS,5000QPS峰值。
比如有人说:
2C4G机器单机一般1000QPS。
8C8G机器单机可承受7000QPS。


多线程

多线程是指从软件或者硬件上实现多个线程并发执行的技术,它更多的是解决CPU调度多个进程的问题,从而让这些进程看上去是同时执行(实际是交替运行的)。

这几个概念中,多线程解决的问题是最明确的,手段也是比较单一的,基本上遇到的最大问题就是线程安全。 在JAVA语言中,需要对JVM内存模型、指令重排等深入了解,才能写出一份高质量的多线程代码。


高可用

高可用HA(High Availability)是分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计减少系统不能提供服务的时间。

总结:

  • 分布式是从物理资源的角度去将不同的机器组成一个整体对外服务,技术范围非常广且难度非常大,有了这个基础,高并发、高吞吐等系统很容易构建;

  • 高并发是从业务角度去描述系统的能力,实现高并发的手段可以采用分布式,也可以采用诸如缓存、CDN等,当然也包括多线程;

  • 多线程则聚焦于如何使用编程语言将CPU调度能力最大化。

究竟啥才是互联网架构“高可用
究竟啥才是互联网架构“高并发
一分钟了解负载均衡的一切

  • 5
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
分布式爬虫和多线程爬虫在实现上有一些区别多线程爬虫是在单台机器上使用多个线程同时进行爬取任务,而分布式爬虫是将爬虫程序部署在多台机器上,每台机器负责处理一部分的爬取任务。 在多线程爬虫中,所有的URL都保存在本地内存中,多个线程从内存中获取URL进行爬取。而在分布式爬虫中,URL通常会保存在共享的存储系统中,比如Redis或MongoDB。每台机器从这个存储系统中获取URL进行爬取,这样可以实现多台机器同时进行爬取任务。 另外,分布式爬虫需要考虑到分布式环境下的一些细节问题,比如URL的去重、任务调度、数据的合并等。而多线程爬虫相对简单一些,只需要考虑线程间的同步和资源共享问题。 总的来说,分布式爬虫适用于大规模的爬取任务,可以提高爬取效率和处理能力。而多线程爬虫适用于小规模的爬取任务,可以在单台机器上快速进行爬取。 #### 引用[.reference_title] - *1* *3* [Java 多线程爬虫及分布式爬虫架构探索](https://blog.csdn.net/weixin_54556126/article/details/119178341)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [多线程分布式爬虫](https://blog.csdn.net/lixinghua666/article/details/83627197)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

T-OPEN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值