nginx多核配置 epoll 和延伸linux cpu查看

参考资料：http://www.cnblogs.com/funsion/p/4003495.html和http://www.1990y.com/nginx-worker-process-affinity/

首先，得先了解下物理cpu，逻辑cpu，多核，超线程htt的概念，以及在linux下的查看方式，可以参考http://blog.csdn.net/kobejayandy/article/details/24875881 这篇文章，讲的比较详细

默认nginx是没有开启利用多核配置的，这个说的是逻辑cpu，配置参数是worker_cpu_affinity

一般来说，拥有几个逻辑cpu，就设置为几个worker_processes（注意这是work进程，nginx还有个master进程）

但是一般最多是8个，多于8个就没有太大意义了

例如：

一、 2核CPU，开启2个进程
worker_processes 2;
worker_cpu_affinity 01 10;

01表示启用第一个CPU内核，10表示启用第二个CPU内核
worker_cpu_affinity 01 10;表示开启两个进程，第一个进程对应着第一个CPU内核，第二个进程对应着第二个CPU内核。
二、 2核CPU,开启4个进程
worker_processes 4;
worker_cpu_affinity 01 10 01 10;

开启了四个进程，它们分别对应着开启2个CPU内核
三、 4核CPU，开户4个进程                
worker_processes 4;
worker_cpu_affinity 0001 0010 0100 1000;

0001表示启用第一个CPU内核，0010表示启用第二个CPU内核，依此类推

还可以将一个进程绑定在2个逻辑cpu上，例如：

worker_processes     2;
worker_cpu_affinity 0101 1010;

Bind the first worker to CPU0/CPU2, bind the second worker to CPU1/CPU3. This is suitable for HTT.

主要参数含义以及epoll优点

worker_rlimit_nofile 65535;
这个指令是指当一个nginx进程打开的最多文件描述符数目，理论值要和系统的单进程打开文件数一致，如：linux 2.6内核下开启文件打开数为65535，worker_rlimit_nofile就相应应该填写65535。

client_header_buffer_size 4k;
客户端请求头部的缓冲区大小，这个可以根据你的系统分页大小来设置，一般一个请求头的大小不会超过1k，但也有client_header_buffer_size超过4k的情况，注意client_header_buffer_size该值必须设置为"系统分页大小"的整倍数。
分页大小可以用命令 getconf PAGESIZE 取得。

events {
     # 语法  use [ kqueue | rtsig | epoll | /dev/poll | select | poll ];
     use epoll;      # 使用epoll（linux2.6的高性能方式）
     worker_connections 51200;         #每个进程最大连接数（最大连接=连接数×进程数）

     # 并发总数是 worker_processes 和 worker_connections 的乘积
     # 即 max_clients = worker_processes * worker_connections
     # 在设置了反向代理的情况下，max_clients = worker_processes * worker_connections / 4
     # 并发受IO约束，max_clients的值须小于系统可以打开的最大文件数
     # 查看系统可以打开的最大文件数
     # cat /proc/sys/fs/file-max
}

/* ===================    [use epoll 的优点]    =================== */

1. 支持一个进程打开大数目的socket描述符(FD)
select 最不能忍受的是一个进程所打开的FD是有一定限制的，由FD_SETSIZE设置，默认值是2048。对于那些需要支持的上万连接数目的IM服务器来说显然太少了。这时候你一是可以选择修改这个宏然后重新编译内核，不过资料也同时指出这样会带来网络效率的下降，二是可以选择多进程的解决方案(传统的 Apache方案)，不过虽然linux上面创建进程的代价比较小，但仍旧是不可忽视的，加上进程间数据同步远比不上线程间同步的高效，所以也不是一种完美的方案。不过 epoll则没有这个限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右，具体数目可以 cat /proc/sys/fs/file-max 察看,一般来说这个数目和系统内存关系很大。

2. IO效率不随FD数目增加而线性下降
传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合，不过由于网络延时，任一时间只有部分的socket是"活跃"的，但是select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降。但是epoll不存在这个问题，它只会对"活跃"的socket进行操作---这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么，只有"活跃"的socket才会主动的去调用 callback函数，其他idle状态socket则不会，在这点上，epoll实现了一个"伪"AIO，因为这时候推动力在os内核。在一些 benchmark中，如果所有的socket基本上都是活跃的---比如一个高速LAN环境，epoll并不比select/poll有什么效率，相反，如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idle connections模拟WAN环境,epoll的效率就远在select/poll之上了。

3. 使用mmap加速内核与用户空间的消息传递。
这点实际上涉及到epoll的具体实现了。无论是select,poll还是epoll都需要内核把FD消息通知给用户空间，如何避免不必要的内存拷贝就很重要，在这点上，epoll是通过内核于用户空间mmap同一块内存实现的。而如果你像我一样从2.5内核就关注epoll的话，一定不会忘记手工 mmap这一步的。

4. 内核微调
这一点其实不算epoll的优点了，而是整个linux平台的优点。也许你可以怀疑linux平台，但是你无法回避linux平台赋予你微调内核的能力。比如，内核TCP/IP协议栈使用内存池管理sk_buff结构，那么可以在运行时期动态调整这个内存pool(skb_head_pool)的大小。再比如listen函数的第2个参数(TCP完成3次握手的数据包队列长度)，也可以根据你平台内存大小动态调整。更甚至在一个数据包面数目巨大但同时每个数据包本身大小却很小的特殊系统上尝试最新的NAPI网卡驱动架构。