服务器数量评估

本文详细阐述了从小型论坛到大型电商平台的网站服务器配置过程,涉及服务器选择、数据库分离、负载均衡、高可用性、缓存优化和云服务部署策略。重点在于根据业务增长调整服务器需求,以及如何计算QPS和所需服务器数量。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

以下内容均为摘抄,如有侵权,请联系删除。

搭建一个大型网站需要多少台服务器?
这个问题无法量化,任何一个大型网站都是经历用户积累然后成长,从一台服务器到多台服务器才能构架支撑网站现有数据、用户、页面请求等。大型网站(如淘宝、京东等)的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性,它总是随着用户量的增加,业务功能的扩展逐渐演变完善的,在这个过程中,开发模式、技术架构、设计思想也发生了很大的变化,就连技术人员也从几个人发展到一个部门甚至一条产品线。

所以成熟的系统架构是随业务扩展而完善出来的,并不是一蹴而就;不同业务特征的系统,会有各自的侧重点,例如淘宝,要解决海量的商品信息的搜索、下单、支付,例如腾讯,要解决数亿的用户实时消息传输,百度它要处理海量的搜索请求,他们都有各自的业务特性,系统架构也有所不同。

1、如果一个网站访问量很小,比如某小公司的小论坛,同时在线可能只有几个人,并且稳定性和安全性要求比较低,那么一台配置不太好的服务器就够了,数据库、应用服务器全部在上面;

2、再大一点,考虑数据库服务器和应用服务器分离,各置一台服务器,还可以再增加一台做静态请求和动态请求分离;

3、当一台应用服务在高峰时期很吃力以至于严重影响访问质量时,可以考虑增加一台应用服务器做负载均衡来分散压力,同时也提高了稳定性,如果一台应用服务器宕机,还有另外一台来响应请求(前提是负载均衡能做到一台挂了,就把所有请求统统交给另一台);

4、如果安全性要求较高,不能有任何的数据丢失,尤其涉及到钱的问题时,需要备份数据库,那么可以做数据库主从,主机宕机自动切换到从机;

5、如果访问量持续增多,而大量数据读操作非常频繁,写操作相对较少,则这部分数据可以分离出来缓存到专门的服务器,常见的如Memcache、Redis缓存服务器,这样就可以大大减少数据库读写的压力,这是非常有效的减压方式;

6、如果部署了N台缓存服务器后数据库仍然还有压力,可以考虑对数据库进行读写分李,一台master主写,N台slave主读,当然要做好数据的同步;

7、如果该网站有大量的图片或者文件需要管理,那么需要增加图片服务器或文件系统服务器,这些服务器通常是分布式的应用,如Hadoop等,可以使用N台服务器来部署;

8、如果瞬时访问量极大,同时请求数到达了一定数量级时,后台服务仍然非常吃力,而我们对响应实时性要求一般,则可以增加N台消息队列服务器来做缓冲;

9、再有就是上述服务器大规模集群了。。。。可以有N大。。。

所以,究竟需要多少台服务器,需要根据业务特点及业务系统需求,逐步升级扩容,直到满足需求为止;国内的大型互联网公司无不如此。

如果上云,建议首选活动机,就拿腾讯云的活动机来说,低配置的1核2G1M低至99元,3年只需要298元,适用于中小企业的配置:4核8G5M带宽200G磁盘也才1279元/年,活动可参考:

对于中小型企业或者创业公司来说,前期业务量相对较小,对整个服务器集群的需求也不大,往往单台服务器或者简单的负载均衡架构即可满足使用需求,在这种情况下,云平台的活动机其实是个不错的选择。

一秒钟能处理300个请求和并发300 有区别吗?
从1秒钟这个时间尺度上,区别不大。
如果改成每秒钟处理300个请求和并发300就有区别了。
后者的概念可以是服务器同时接收了300个请求,但是花了n秒钟把他们处理完。如果这个n大于请求的timeout值,就会有部分请求处理失败。
前者的概念可以是不管服务器接收多少请求(可能高于300也可能低于300),但是每秒只能处理300个。
在实际应用中需要考虑系统性能和稳定性,对于超出系统处理能力的请求该如何避免影响核心业务。

并发能力和线程数量不是一回事,但有关系。跟系统能开启的线程数也有一些关系,但不是绝对。也就是说,在一定范围内,你可以这样认为,但是超出这个范围就不一定。
比如一个人挖一个坑需要4分钟,2个人一起挖需要2分钟。但不是24个人一起挖10秒就能ok。这里涉及到资源的冲突,以及工序的排序,甚至是采用的方法。比如换一个大型挖掘机也许10秒就ok。

QPS:每秒处理的请求数量。
比如你的程序处理一个请求平均需要0.1S,那么1秒就可以处理10个请求。QPS自然就是10,多线程情况下,这个数字可能就会有所增加。
由PV和QPS如何需要部署的服务器数量?
根据二八原则,80%的请求集中在20%的时间来计算峰值压力:
(每日PV * 80%) / (3600s * 24 * 20%) * 每个页面的请求数 = 每个页面每秒的请求数量
然后除以服务器的QPS值,即可计算得出需要部署的服务器数量
公式:( 总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS)
机器:峰值时间每秒QPS / 单台机器的QPS = 需要的机器

问:每天300w PV 的在单台机器上,这台机器需要多少QPS?
答:( 3000000 * 0.8 ) / (86400 * 0.2 ) = 139 (QPS)

问:如果一台机器的QPS是58,需要几台机器来支持?
答:139 / 58 = 3
———————————————————

假如想要建设一个能承受500万PV/每天的网站,服务器每秒要处理多少个请求才能应对?如何计算?

1、PV是什么:
PV是page view的简写。PV是指页面的访问次数,每打开或刷新一次页面,就算做一个pv。

2、计算模型:
每台服务器每秒处理请求的数量=((80%总PV量)/(24小时60分60秒40%)) / 服务器数量 。

注:其中关键的参数是80%、40%。表示一天中有80%的请求发生在一天的40%的时间内。24小时的40%是9.6小时,有80%的请求发生一天的9.6个小时当中(很适合互联网的应用,白天请求多,晚上请求少)。

3、简单计算的结果:
((80%500万)/(24小时60分60秒40%))/1 = 115.7个请求/秒
((80%100万)/(24小时60分60秒40%))/1 = 23.1个请求/秒

4、初步结论:
现在我们在做压力测试时,就有了标准,如果你的服务器一秒能处理115.7个请求,就可以承受500万PV/每天。如果你的服务器一秒能处理23.1个请求,就可以承受100万PV/每天。

5、留足余量:
以上请求数量是均匀的分布在白天的9.6个小时中,但实际情况并不会这么均匀的分布,会有高峰有低谷。为了应对高峰时段,应该留一些余地,最少也要x2倍,x3倍也不为过。
115.7个请求/秒 *2倍=231.4个请求/秒
115.7个请求/秒 *3倍=347.1个请求/秒
23.1个请求/秒 *2倍=46.2个请求/秒
23.1个请求/秒 *3倍=69.3个请求/秒

6、最终结论:
如果你的服务器一秒能处理231.4–347.1个请求/秒,就可以应对平均500万PV/每天。
如果你的服务器一秒能处理46.2–69.3个请求,就可以应对平均100万PV/每天。

说明:
这里说明每秒N个请求,就是QPS。因为我关心的是应用程序处理业务的能力。

7、实际经验:
1、根据实际经验,采用两台常规配置的机架式服务器,配置是很常见的配置,例如一个4核CPU+4G内存+服务器SAS硬盘。
2、个人武断的认为在服务器CPU领域Intel的CPU要优于AMD的CPU,有反对的就反对吧,我都说我武断了(请看CPU性能比较),不要太相信AMD的广告,比较CPU性能简单办法就是比价格,不要比频率与核心数,价格相差不多的性能也相差不多。
3、硬盘的性能很重要,由其是数据库服务器。一般的服务器都配1.5万转的SAS硬盘,高级一点的可以配SSD固态硬盘,性能会更好。最最最最重要的指标是“随机读写性能”而不是“顺序读写性能”。(本例还是配置最常见的1.5万转的SAS硬盘吧)
4、一台服务器跑Tomcat运行j2ee程序,一台服务器跑MySQL数据库,程序写的中等水平(这个真的不好量化),是论坛类型的应用(总有回帖,不太容易做缓存,也无法静态化)。
5、以上软硬件情况下,是可以承受100万PV/每天的。(已留有余量应对突然的访问高峰)

8、注意机房的网络带宽:
有人说以上条件我都满足了,但实际性能还是达不到目标。这时请注意你对外的网络的带宽,在国内服务器便宜但带宽很贵,很可能你在机房是与大家共享一条100M的光纤,实际每个人可分到2M左右带宽。再好一点5M,再好一点双线机房10M独享,这已经很贵了(北京价格)。

一天总流量:每个页面20k字节*100万个页面/1024=19531M字节=19G字节,19531M/9.6小时=2034M/小时=578K字节/s 如果请求是均匀分布的,需要5M(640K字节)带宽(5Mb=640KB 注意大小写,b是位,B是字节,差了8倍),
但所有请求不可能是均匀分布的,当有高峰时5M带宽一定不够,X2倍就是10M带宽。10M带宽基本可以满足要求。
以上是假设每个页面20k字节,基本不包含图片,要是包含图片就更大了,10M带宽也不能满足要求了。你自已计算吧。

1G=1024M

1M=1024KB

1KB=1024B

1Mb的宽带(运营商叫法)换算为下载速度(传输速率),是0.125MB/s,换算成MB换算成KB是128KB/s。

附:性能测试基本概念
一、基本概念:
Throughput(吞吐量):按照常规理解网络吞吐量表示在单位时间内通过网卡数据量之和,其中即包括本机网卡发送出去的数据量也包括本机网卡接收到的数据量。 一个100Mb(位)的双工网卡,最大发送数据的速度是12.5M字节/s,最大接收数据的速度是12.5M字节/s, 可以同时收发数据。
并发用户数:是同时执行操作的用户(线程数)。
响应时间:从请求发出到收到响应花费的时间 。

QPS - Queries Per Second 每秒处理的查询数(如果是数据库,就相当于读取)
TPS - Transactions Per Second 每秒处理的事务数(如果是数据库,就相当于写入、修改)
IOPS,每秒磁盘进行的I/O操作次数

例如对某个数据库测试,分开两次测QPS与TPS。
QPS(读取)值总是高于TPS(写、改),并且有倍率关系,因为:
1、数据库对查询可能有缓存。
2、机械硬盘或SSD硬盘的读就是比写快。

二、JMeter测试参数说明:
Label:每一个测试单元的名字。
#Samples:表示一个测试单元一共发出了多少个请求。
Average:平均响应时间——默认情况下是单个 Request 的平均响应时间,当使用了 Transaction Controller 时,也可以以Transaction 为单位显示平均响应时间。,不重要。
Median:中位数,也就是 50% 用户的响应时间,如果把响应时间从小到大顺序排序,那么50%的请求的响应时间在这个范围之内。重要。
90% Line:90% 用户的响应时间,如果把响应时间从小到大顺序排序,那么90%的请求的响应时间在这个范围之内。重要 。
Min:最小响应时间,不重要。
Max:最大响应时间,出现几率只不过是千分之一甚至万分之一,不重要。
Error%:本次测试中出现错误的请求的数量
Throughput:吞吐量——默认情况下表示每秒完成的请求数(Request per Second),当使用了 Transaction Controller 时,也可以表示类似 LoadRunner 的 Transaction per Second 数
KB/Sec:每秒从服务器端接收到的数据量(只是接收),相当于LoadRunner中的Throughput/Sec

三、Apache ab测试参数说明:
RPS:Request per Second,每秒处理的请求数

https://www.cnblogs.com/linjiqin/p/6816345.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值