前段时间在调试项目中发现,在高并发的连接冲击下,我们的项目貌似需要更大的资源创建权限(文件打开数突破1024)。带着这个需求,我搜索到一大堆突破资源限制的方法。总结一下,大致的步骤如下:
1、修改一堆系统文件, 扩大系统预先分配的软硬件最大限制。比如在/etc/security/limits.conf中加入soft hard nofile。
2、修改ssh 的配置文件,指定用户通过ssh登录时加载某些环境变量。
3、各种文件内指定ulimit 。
我跟着做了一遍,发现只有我通过ssh手动启动程序时,才会把这些扩大的资源限制加入进去,而且设置过程太麻烦了,容易失败,却无法定位到是哪里没有设置。看似百家争鸣,实在一家之言。
我的项目本身是跟着系统自启动的,所以不存在ssh的问题。本身是root权限,只有硬限制才能对他起作用。
Linux下资源限制的优先级是:
硬限制 > 软限制
系统级 > 用户级 > 进程级
后来我发现,Linux早就考虑到我们这种情况,并且提供了系统函数,下面是我使用进程资源的突破方法:
使用系统函数setrlimit进行软硬件资源突破,他的功能很强势:set resource limits。 它提供出很多资源内置功能,后面会它进行详解。就目前,我们只使用它的功能: RLIMIT_NOFILE(设置最大打开文件数)
#include <sys/resource.h>
int setrlimit(int resource, const struct rlimit *rlim);
RLIMIT_NOFILE
Specifies a value one greater than the maximum file descriptor number that can be opened by this process. Attempts (open(2), pipe(2), dup(2), etc.) to exceed this limit yield the error EMFILE. (Historically, this limit was named RLIMIT_OFILE on BSD.)
代码如下:
#include <sys/resource.h>
#define MAX_FILE 10000
static void set_max_file(void)
{
struct rlimit rs;
rs.rlim_cur = (rlim_t)MAX_FILE;
rs.rlim_max = (rlim_t)MAX_FILE;
setrlimit(RLIMIT_CORE, &rs);
return;
}
注:ulimit -a 是看不到进程的实际资源占用情况,可以通过/proc/$PID/limits文件查看进程的实际资源限制。
root@ubuntu:~# cat /proc/40184/limits
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 8388608 unlimited bytes
Max core file size unlimited unlimited bytes
Max resident set unlimited unlimited bytes
Max processes 257208 257208 processes
Max open files 65535 65535 files
Max locked memory 65536 65536 bytes
Max address space unlimited unlimited bytes
Max file locks unlimited unlimited locks
Max pending signals 257208 257208 signals
Max msgqueue size 819200 819200 bytes
Max nice priority 0 0
Max realtime priority 0 0
Max realtime timeout unlimited unlimited us
附录(setrlimit 中可供设置的系统资源宏):
名称 | 意义 |
RLIMIT_AS | 进程总共可用的内存大小的最大值 |
RLIMIT_CORE | core文件的最大尺寸,使用最多,通过为设置coredump文件。 |
RLIMIT_CPU | CPU时间的最大值(单位:秒) |
RLIMIT_DATA | 数据段大小的最大值 |
RLIMIT_FSIZE | 创建文件的大小的最大值 |
RLIMIT_LOCKS | 进程可建立的文件锁的数量的最大值 |
RLIMIT_MEMLOCK | 进程中使用mlock锁定内存的最大尺寸 |
RLIMIT_NOFILE | 进程中文件的打开数量的最大值 |
RLIMIT_NPROC | 每个real user id的子进程数量的最大值 |
RLIMIT_RSS | 最大常驻存储区大小 |
RLIMIT_SBSIZE | socket缓冲的大小的最大值 |
RLIMIT_STACK | 栈的最大尺寸 |
RLIMIT_VMEM | =RLIMIT_AS |
补充:
修改系统服务的资源限制,可修改/etc/systemd/system.conf文件,修改如下两项,仅对root 有效.
DefaultLimitNOFILE=65000
DefaultLimitNPROC=65000
邮箱:tanya.h@aliyun.com 欢迎交流