设置Nginx进程分配至多核CPU提升性能

Posted on 2011-01-13 by from http://www.1990y.com/nginx-worker-process-affinity/yeasiz

Nginx 配置文件 nginx.conf

首先需要找到 Nginx 的配置文件 nginx.conf 才能进行下面的操作，在LNMP一键安装包默认配置下，nginx.conf 存放在
/usr/local/nginx/conf/nginx.conf
至于其他环境下安装 Nginx 可以用
find / -name nginx.conf
来查找配置文件的存放路径。

Nginx worker_processes进程数设置

Nginx 的配置文档 nginx.conf 中可以设置 worker_processes 来更改 Nginx 的进程数量，根据这篇问答number of nginx worker processes显示，建议 Nginx worker_processes进程数设置为1，因为：

Nginx unlike Apache and other process per connection webservers. It uses one master process to start and monitor a small number of worker processes that actually handle the connections. My recommendation is to start with the default number of workers, which is 1.

但我们的目的是要把不同的 worker_processes 进程分配至不同核上的 CPU 上运行，所以以我目前的VPS提供商Linode的512配置为例，服务器母鸡拥有8个逻辑CPU，但是作为用户我只得到4个逻辑CPU，所以在这里我设置为运行3个worker_processes进程，原因是在默认情况下，其他的程序会在第1个逻辑CPU（CPU0）上运行，为了不影响其他程序，我将会把这3个进程分配至另外3个逻辑CPU（CPU1、CPU2、CPU3）上运行：

worker_processes 3;

一般来说，拥有几个逻辑CPU，就设置为几个worker_processes 为宜，但是 worker_processes 超过8个就没有多大意义了，原因再上面那段英文里已经提到了。

你可以使用这条命令来查看当前的CPU情况：
cat /proc/cpuinfo
或者直接显示逻辑CPU的个数：
cat /proc/cpuinfo |grep "processor"|wc -l

Nginx worker_cpu_affinity 设置

根据 Nginx Wiki 上的资料显示：

worker_cpu_affinity

Syntax: worker_cpu_affinity cpumask [cpumask...]

Default: none

Linux only.

With this option you can bind the worker process to a CPU, it calls sched_setaffinity().

For example,

worker_processes     4;
worker_cpu_affinity 0001 0010 0100 1000;

Bind each worker process to one CPU only.

worker_processes     2;
worker_cpu_affinity 0101 1010;

Bind the first worker to CPU0/CPU2, bind the second worker to CPU1/CPU3. This is suitable for HTT.

worker_cpu_affinity 默认是没有开启的，根据例子我们可以看得出，0001 0010 0100 1000 分别代表第1、2、3、4个逻辑CPU，所以我们可以设置0010 0100 1000来将3个进程分别绑定到第2、3、4个逻辑CPU上：
worker_processes 3;
worker_cpu_affinity 0010 0100 1000;

同时根据例子我们也可以看出，worker_cpu_affinity 可以将同1个进程绑定在2个逻辑CPU上：
worker_processes 2;
worker_cpu_affinity 0101 1010;
0101也就是第1、3个逻辑CPU上，1010就是第2、4个逻辑CPU上。

Nginx 进程分配至多核CPU设置的启用和测试

保存 nginx.conf 文件，并重新加载 Nginx 配置文件：
/usr/local/nginx/sbin/nginx -s  reload

在另一台安装了 Apache 的主机下运行 ab 来测试：
ab -n 20000 -k http://www.1990y.com/p.php
你可以测试一个需要MySQL查询的PHP页面，也可以测试一个静态图片或者页面。

在被测试服务器上可以使用 top 查看当前服务器情况，然后按 1 来显示各个逻辑CPU的使用情况。

至于为什么我要设置Nginx进程分配至多核CPU呢？这不是生命在于折腾么。。

No related posts.

This entry was posted in Linux and tagged CentOS, Nginx by yeasiz. Bookmark the permalink.

7 thoughts on “设置Nginx进程分配至多核CPU提升性能”

1. Sparanoid on 2011-01-13 at 12:46 said:

   ab 测试要加上 -c，不然迸发数就是 1

   Reply ↓
   • yeasiz on 2011-01-13 at 12:56 said:

     因为只是测试一下CPU使用率，所以就没有设置并发数。
     在测试requests 20000次的时候，CPU(s)使用率已经达到了20%了～
     

     Reply ↓
     • Sparanoid on 2011-01-13 at 13:44 said:

       Linode 自带图表果然方便… -c 1000 rackspace 上的 stacey 依然可以访问，不过会有近 1000ms 的等待 http://d.pr/5glp

       Reply ↓
       • yeasiz on 2011-01-13 at 21:13 said:

         等明天早上服务器上的另一个网站访问人数少的时候去测试一下，今天的测试SWAP用了30多MB~

         话说以200GB流量计算,rackspace 512MB 比 Linode 512 的贵很多啊~

         Reply ↓
         • Sparanoid on 2011-01-13 at 21:32 said:

           Rackspace 的流量是单独计算的比较郁闷，不过我现在所有的图片都丢到 Cloudfront 上了

           实际 Cloud Server 的性能比不上 Linode，不过我比较愿折腾，可以随意在后台同时搞出 n 几个 4GB 的 rack 来让我玩，这种扩展性让我很爽
2. Sparanoid on 2011-01-13 at 13:39 said:

   嗯，小网站的话，一般都很少会有迸发，不过测试嘛，你可以试试 -c 1000…

   Reply ↓
3. Tony on 2011-01-19 at 01:23 said:

   说实在的，设置CPU Affinity的效果不明显，不如epoll和aio的效果好。

   Reply ↓
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   负荷nginx的几个关键配置参数
   
   
   

   不知不觉网站PV就爆发了。nginx压力越来越大，一些默认参数就显得不够用了。

       我们的主服务器硬件配置非常健壮(双路至强5620 + 48GB内存 + SSD)，理论上可以承受每天过500万的PV，当然，前提是优化得够好。

       简单罗列一下优化过的几个参数：

4. ulimit -n 65535这个参数位于/etc/default/nginx 中，或者/etc/init.d/nginx 文件中直接设置。

       默认是1024，意思是最多打开的文件个数。1024怎么够，至少开到8192，网上很多文章都直接开到了65535。

5. worker_processes 8;

        worker数量，位于nginx.conf头部，一般来说有几个cpu核心开几个，不算超线程。

6. worker_rlimit_nofile  65535;

        位于nginx.conf头部，也是文件数量限制，直接开大吧。

7. worker_connections 4096;

        位于nginx.conf中，默认是1024，也不够。

8. 另外，建议编译nginx的时候顺带编译status模块，以便监视性能。

       

        location /status/ {

        stub_status on;

        }

       

       小小炫耀一下服务器的status参数，想当年刚用nginx的时候，Writing参数不是0就是1，现在已经这么大了:

   Active connections: 2140
   server accepts handled requests
    14727928 14727602 24524267
   Reading: 92 Writing: 28 Waiting: 2020