详解大型互联网项目服务端架构演进历程_it项目 大规模服务器(1)

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上运维知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以添加V获取:vip1024b (备注运维)
img

正文

负载均衡的调度策略都有哪些?各有什么优缺点?各适合什么场景?

打个比方,我们有轮询、权重、地址散列

地址散列又分为源ip地址散列和目标ip地址散列,最少连接和加权最少连接,还有根据这些策略升级而来的很多策略。

例如轮询优点就是实现简单,缺点就是不考虑每台服务器处理能力;

权重我们考虑了服务器处理能力的问题;

地址散列可以使用同一个用户访问同一个服务器;

最少连接可以使集群中各个服务器负载更加均匀;

加权最少连接就是指在最少连接的基础上,为每台服务器加上权值;算法就是(活动连接数*256+非活动连接数)/权重;计算出来的值小的服务器优先被选择;

这里我们如图所示增加了一个负载均衡调度器,应用呢增加了一个Cluster;也就是说一个集群;

在使用了这种架构之后呢,我们有这么一个场景,我们登录的时候,登录了A服务器;Session信息存储到A服务器上;假设我们使用的负载均衡策略是根据ip进行一个哈希散列,那么登录信息还可以从A服务器上访问到;但是IP哈希不够分散也不够均匀;

这就有可能造成某些服务器压力过大,某些服务器又没有什么压力;

这个时候我们机器网卡的带宽就有肯能成为一个瓶颈;

这个时候我们使用轮询或者最少连接的负载均衡则略,

这就导致了我们地址访问A服务器,把Session信息存储到A服务器上,第二次是有可能访问到B服务器,这个时候存储在A服务器上的Session信息在B服务器上是读取不到的。那么我们就要解决session管理的问题?

我们使用session sticky粘滞会话这种方式来解决这个问题;

打个比方如果我们每次吃饭都有使用自己的碗筷,而只要在一家饭店里存着我们的碗筷,我们每次去这家饭店吃饭就好了,因为那里存着我们的碗筷;

它的处理规则是对于同一连接中的数据包负载均衡会将其进行一个NAT转化后转发至后端固定的服务器进行处理,也就是如图所示

例如我们图中所示的Browser1走到负载均衡服务器然后走1的路径到底Application当中;也就是说我们的Browser1每次都会访问到1的Application。这种方案解决了Session共享的问题。但是它也有一些缺点,第一个缺点,1这个服务器重启了上面的Session将全部消失,第二个缺点就是我们的负载均衡服务器成了一个有状态的机器,要实现容灾会有麻烦。

我们接着看第二个解决方案,Session复制

也就是说Browser1通过负载均衡服务器访问到1这个Application当中的时候,会把这个用户的Session复制到第二个用户的服务器上;也就是说这两个服务器都保留着Browser1的Session信息;

打个比方就好比所在的饭店里都存着自己的碗筷,我们去哪个饭店都OK,都有自己的碗筷;

我们又解决了Session共享的问题;但是它也有缺点,应用服务器带宽之间的问题;Application1和Aplication2之间要不断的同步Session信息;另外一个就是当我们大量用户在线的时候,我们这个服务器占用的内存会过多,不适合做大规模集群,适合做机器不多的情况;

我们在看第三种解决方案

这种就是基于Cookie,打个比方类似我们去吃饭,每次都把自己的碗筷带上,这样去哪家饭店都OK,都可以吃饭;

我们带着Session信息的Cookie去访问我们的应用服务器;这种方式也解决了我们Session共享的问题;

但是它也是有缺点的,首先我们Cookie的长度是有限制的;其次Cookie保存在浏览器上安全性也是一个问题;

那么我们再看第四种解决方案,我们把Session做成一个Session服务器

这样的请求路径就是Browser1通过负载均衡服务器请求到Application1当中,然后它把Browser1的Session信息存到Session Server当中;当想获取Session的时候,应用就从Session服务器当中获取Session;我们所以用户的Session信息都统一保存到Session Server当中;

这个就好比我们去饭店,我们也不自己带着碗筷,饭店共有一个很大的橱柜,我们的碗筷都存在那里;我们去A饭店,A饭店就去橱柜里面去找你的碗筷,如果我们去B饭店,B饭店也会从橱柜中拿好你的碗筷;

这里我们要考虑以下几个缺点;

在目前这个架构中Session Server是一个单点的,我们要如何解决这个单点,保证它的可用性,我们可以把Session Server也做成一个集群;这种方式适用于Session数量及Web服务器数量大的情况;

同时我们改成这种架构之后,我们在写应用的时候也要调整Session存储的业务逻辑;

在招聘面试时经常会遇到类似的问题;

在解决了横向扩展应用服务器之后,

我们数据库的读与写操作都需要经过数据库,当用户量达到一定量时,数据库又成为了一个瓶颈;

那么如何解决呢?我们使用了数据库的读写分离;

Msster是主库,Slave是从库;同时我们应用要接入多数据源,并且经过统一的数据访问模型data access module进行访问;

数据库读写分离将所有的读操作引入到Slave这个服务器,将所有的写操作全部引入Master服务器,引入到我们的主库当中;

因为我们数据库读写分离了,所以我们应用程序也要做出相应的变化;我们在Local Cache实现了一个数据访问模块,使上层写代码的人不知道读写分离的存在;这样我们读数据源的读写对业务代码就没有了侵入,这里就引入了代码层次的一个演变;

如何支持多数据源?

如何封装对业务没有侵入?

如何使用目前业务使用的ORM框架完成主从的读写分离?

是否需要更换ORM?又各有什么优缺点?如何取舍?

当我们的访问量过大的时候,也就是说数据库的IO非常大,我们数据库的读写分离又会遇到以下问题。

例如我们的主库和从库在复制的时候有没有延时?

如果我们将主库和从库在分机房部署的话,跨机房传输同步数据 ,这个更是一个问题;

另外一个问题是应用对应数据源的路由问题?

这些都是我们要思考和解决的点?

我们接着演进,我为服务器添加CDN和反向代理服务器;

使用CDN可以很好的解决不同的地区访问速度问题;反向代理则可以在服务器机房当中缓存用户的资源;

这个时候我们的文件服务器又出现了一个瓶颈;这时我们把文件服务器改成了分布式文件服务器集群;

我们在使用分布式文件系统的时候,我们要考虑以下几个问题.

如何不影响已在线上的业务访问?

是否需要业务部门帮忙清洗数据?

是否需要备份服务器?

是否需要重新做域名解决等?

我们继续演进……

这个时候我们数据库又出现了一个瓶颈,我们选择专库专用的方式进行数据的一个垂直拆分,相关的业务都使用自己的库,我们解决了写数据并发量大的问题;

当我们把这些数据表分成不同的库,又会遇到哪些新问题呢?

为了做好运维面试路上的助攻手,特整理了上百道 【运维技术栈面试题集锦】 ,让你面试不慌心不跳,高薪offer怀里抱!

这次整理的面试题,小到shell、MySQL,大到K8s等云原生技术栈,不仅适合运维新人入行面试需要,还适用于想提升进阶跳槽加薪的运维朋友。

本份面试集锦涵盖了

  • 174 道运维工程师面试题
  • 128道k8s面试题
  • 108道shell脚本面试题
  • 200道Linux面试题
  • 51道docker面试题
  • 35道Jenkis面试题
  • 78道MongoDB面试题
  • 17道ansible面试题
  • 60道dubbo面试题
  • 53道kafka面试
  • 18道mysql面试题
  • 40道nginx面试题
  • 77道redis面试题
  • 28道zookeeper

总计 1000+ 道面试题, 内容 又全含金量又高

  • 174道运维工程师面试题

1、什么是运维?

2、在工作中,运维人员经常需要跟运营人员打交道,请问运营人员是做什么工作的?

3、现在给你三百台服务器,你怎么对他们进行管理?

4、简述raid0 raid1raid5二种工作模式的工作原理及特点

5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

6、Squid、Varinsh和Nginx有什么区别,工作中你怎么选择?

7、Tomcat和Resin有什么区别,工作中你怎么选择?

8、什么是中间件?什么是jdk?

9、讲述一下Tomcat8005、8009、8080三个端口的含义?

10、什么叫CDN?

11、什么叫网站灰度发布?

12、简述DNS进行域名解析的过程?

13、RabbitMQ是什么东西?

14、讲一下Keepalived的工作原理?

15、讲述一下LVS三种模式的工作过程?

16、mysql的innodb如何定位锁问题,mysql如何减少主从复制延迟?

17、如何重置mysql root密码?

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注运维)
img

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
ql如何减少主从复制延迟?

17、如何重置mysql root密码?

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注运维)
[外链图片转存中…(img-r4W8v58M-1713656189409)]

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 25
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值