解决uwsgi开多少进程才能最大使用服务器

先来看一下我的服务器配置:

[root@Y]# cat /proc/cpuinfo |grep "physical id"|sort |uniq|wc -l
2
[root@Y]# cat /proc/cpuinfo |grep "cores"|uniq
cpu cores       : 8
[root@Y]# cat /proc/cpuinfo |grep "processor"|wc -l
32

[root@Y]# free -g
             total       used       free     shared    buffers     cached
Mem:           125         57         68          0          1         30
-/+ buffers/cache:         25        100
Swap:            0          0          0

本服务器有2个实物cpu,每个cpu有8个核心,每个核心虚出(超线程数)2个逻辑cpu,所以一共有32个cpu,128G内存
每个cpu平均分配到的内存为4G,系统占用2GB空间,用户占用2GB空间

那么根据linux的默认进程和线程大小计算:
默认一个进程的堆栈大小是2GB
默认一个线程的堆栈大小是1MB
所以一个进程可以开2G/1M=2048个线程,但实际上内存当然不可能完全拿来作线程的栈,所以实际数目要比这个值要小,一般情况会达到1500个线程。

wsgi.yaml的配置信息如下:

processes: 32  # 范围:1~32
threads: 800  # 范围:1~1500
。。。

按照我的服务器的32C128G配置,uwsgi的常规分配是 32 processes,800 threads。

这个配置是不是能最大程度的利用服务器呢?不一定,按照这个配置启动服务后,看一下服务器的 cpu,内存使用情况:htop(或 top)、free -g
如果cpu和内存的使用率还都是很低的话,还可以往上加,惊不惊喜,意不意外!

接下来我们在分析一下两种情况:
IO密集型:相当于CPU工作时间无穷小的情况,这时候的线程数要调到最大,才能最大利用服务器。
计算密集型:相当于IO时间无穷小,计算的进程数约等于CPU核数,才能最大利用服务器。

如果processes 配置的数值超过 32了,有的时候反而会降低服务器的性能,因为cpu需要有调度和分配,这也会耗费资源。

分享个例子吧,有助于理解:
火车站入口的闸门一共有32个,只开放2个门和开放32个,同时能够通过的客流量是很大不同的(扩进程);
还是32个闸门,每个闸门一般会有一个剪票员,如果配两个剪票员,同时能够通过的客流量就会增大(扩线程);

影响服务器使用率的另一个很重要的因素就是程序的质量,如果一个http请求进来,程序执行完返回,一共花了100ms或之上,这样的话需要开够多的线程,但主要问题还是程序要进行优化。

所以,问题回到如何配置uwsgi的参数,才能最大化利用服务器?
即使服务器的配置都是一样的,但是不一样的程序,处理请求所用的时间也是不同的,这就能影响到uwsgi参数的配置。最好的办法就是通过 压测来测试,从而不断调优uwsgi的参数,上面我只是提供了一个常规的配置而已。

有帮到你就好。

  • 2
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值