Linux入职基础-5.17_ulimit限制shell启动进程所占用资源（应用实战1）

ulimit限制shell启动进程所占用资源（应用实战1）

ulimit 功能简述

假设有这样一种情况，当一台 Linux 主机上同时登陆了 10 个人，在系统资源无限制的情况下，这 10 个用户同时打开了 500 个文档，而假设每个文档的大小有 10M，这时系统的内存资源就会受到巨大的挑战。

而实际应用的环境要比这种假设复杂的多，例如在一个嵌入式开发环境中，各方面的资源都是非常紧缺的，对于开启文件描述符的数量，分配堆栈的大小，CPU 时间，虚拟内存大小，等等，都有非常严格的要求。资源的合理限制和分配，不仅仅是保证系统可用性的必要条件，也与系统上软件运行的性能有着密不可分的联系。这时，ulimit 可以起到很大的作用，它是一种简单并且有效的实现资源限制的方式。

ulimit 用于限制 shell 启动进程所占用的资源，支持以下各种类型的限制：所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数量、分配堆栈的最大大小、CPU 时间、单个用户的最大线程数、Shell 进程所能使用的最大虚拟内存。同时，它支持硬资源和软资源的限制。

作为临时限制，ulimit 可以作用于通过使用其命令登录的 shell 会话，在会话终止时便结束限制，并不影响于其他 shell 会话。而对于长期的固定限制，ulimit 命令语句又可以被添加到由登录 shell 读取的文件中，作用于特定的 shell 用户。

limits.conf的工作原理

limits.conf的后端是这样工作的：limits.conf是pam_limits.so的配置文件，然后/etc/pam.d/下的应用程序调用pam_***.so模块。譬如说，当用户访问服务器，服务程序将请求发送到PAM模块，PAM模块根据服务名称在/etc/pam.d目录下选择一个对应的服务文件，然后根据服务文件的内容选择具体的PAM模块进行处理。

limits.conf的格式

#<domain> can be:

#       - an user name

#       - a group name, with @group syntax

#       - the wildcard *, for default entry

#       - the wildcard %, can be also used with %group syntax, for maxloginlimit

设置需要被限制的用户名，组名前面加@和用户名区别。也可以用通配符*来做所有用户的限制。

#<type> can have the two values:

#       - "soft" for enforcing the soft limits

#       - "hard" for enforcing hard limits

hard 表明系统中所能设定的最大值。soft 的限制不能比hard 限制高。

#<item> can be one of the following:

#       - core - limits the core file size (KB)

          core - 限制内核文件的大小

#       - data - max data size (KB)

          date - 最大数据大小

#       - fsize - maximum filesize (KB)

          fsize - 最大文件大小

#       - memlock - max locked-in-memory address space (KB)

          memlock - 最大锁定内存地址空间

#       - nofile - max number of open files

          nofile - 打开文件的最大数目

#       - rss - max resident set size (KB)

          rss - 最大持久设置大小

#       - stack - max stack size (KB)

          stack - 最大栈大小

#       - cpu - max CPU time (MIN)

          cpu - 以分钟为单位的最多 CPU 时间

#       - nproc - max number of processes

          noproc - 进程的最大数目

#       - as - address space limit (KB)

          as - 地址空间限制

#       - maxlogins - max number of logins for this user

          maxlogins - 此用户允许登录的最大数目

#       - maxsyslogins - max number of logins on the system

#       - priority - the priority to run user process with

#       - locks - max number of file locks the user can hold

#       - sigpending - max number of pending signals

#       - msgqueue - max memory used by POSIX message queues (bytes)

#       - nice - max nice priorityallowed to raise to values: [-20, 19]

#       - rtprio - max realtime priority

#

#<domain>      <type>  <item>         <value>

#*               soft    core            0

#*               hard    rss             10000

#@student        hard   nproc           20

#@faculty        soft   nproc           20

#@faculty        hard   nproc           50

#ftp             hard    nproc           0

#@student        -      maxlogins       4

# End of file

mysql                soft    core            2048000

mysql                hard    core            2048000

mysql                soft    nofile          819200

mysql                hard    nofile          819200

如果遇到“段错误”（segmentation fault）这样的问题，这主要就是由于Linux系统初始的堆栈大小（stack size）太小，可以使用ulimit  -s

core - 限制内核文件的大小

　　何谓core文件,当一个程序崩溃时，在进程当前工作目录的core文件中复制了该进程的存储图像。core文件仅仅是一个内存映象(同时加上调试信息)，主要是用来调试的。 core文件是个二进制文件，需要用相应的工具来分析程序崩溃时的内存映像。

nofile -打开文件的最大数目

　　对于需要做许多套接字连接并使它们处于打开状态的应用程序而言，最好通过使用 ulimit –n，或者通过设置nofile 参数，为用户把文件描述符的数量设置得比默认值高一些

几种方式来使用 ulimit：

○在用户的启动脚本中

    如果用户使用的是 bash，就可以在用户的目录下的.bashrc 文件中，加入 ulimit – u 64，来限制用户最多可以使用 64 个进程。此外，可以在与 .bashrc 功能相当的启动脚本中加入 ulimt。

○在应用程序的启动脚本中

    如果用户要对某个应用程序 myapp 进行限制，可以写一个简单的脚本 startmyapp。

     ulimit – s 512

     myapp

    以后只要通过脚本 startmyapp 来启动应用程序，就可以限制应用程序 myapp 的线程栈大小为 512K。

○直接在控制台输入

     user@tc511-ui:~>ulimit – p 256

    限制管道的缓冲区为 256K。

用户进程的有效范围

ulimit 作为对资源使用限制的一种工作，是有其作用范围的。那么，它限制的对象是单个用户，单个进程，还是整个系统呢？事实上，ulimit 限制的是当前 shell 进程以及其派生的子进程。举例来说，如果用户同时运行了两个 shell 终端进程，只在其中一个环境中执行了 ulimit – s 100，则该 shell 进程里创建文件的大小收到相应的限制，而同时另一个 shell 终端包括其上运行的子程序都不会受其影响：

Shell 进程 1

 ulimit – s 100

 cat testFile > newFile

 File size limit exceeded

Shell 进程 2

 cat testFile > newFile

 ls – s newFile

 323669 newFile

那么，是否有针对某个具体用户的资源加以限制的方法呢？答案是有的，方法是通过修改系统的 /etc/security/limits 配置文件。该文件不仅能限制指定用户的资源使用，还能限制指定组的资源使用。该文件的每一行都是对限定的一个描述，格式如下：

 <domain> <type> <item><value>

domain 表示用户或者组的名字，还可以使用 * 作为通配符。Type 可以有两个值，soft 和 hard。Item 则表示需要限定的资源，可以有很多候选值，如 stack，cpu，nofile 等等，分别表示最大的堆栈大小，占用的 cpu 时间，以及打开的文件数。通过添加对应的一行描述，则可以产生相应的限制。例如：

 * hard noflle 100

该行配置语句限定了任意用户所能创建的最大文件数是 100。

现在已经可以对进程和用户分别做资源限制了，看似已经足够了，其实不然。很多应用需要对整个系统的资源使用做一个总的限制，这时候我们需要修改 /proc 下的配置文件。/proc 目录下包含了很多系统当前状态的参数，例如 /proc/sys/kernel/pid_max，/proc/sys/net/ipv4/ip_local_port_range等等，从文件的名字大致可以猜出所限制的资源种类。由于该目录下涉及的文件众多，在此不一一介绍。有兴趣的读者可打开其中的相关文件查阅说明。

ulimit 管理系统资源的例子

ulimit 提供了在 shell 进程中限制系统资源的功能。本章列举了一些使用 ulimit 对用户进程进行限制的例子，详述了这些限制行为以及对应的影响，以此来说明 ulimit 如何对系统资源进行限制，从而达到调节系统性能的功能。

使用 ulimit 限制 shell 的内存使用

在这一小节里向读者展示如何使用 – d，– m 和 – v 选项来对 shell 所使用的内存进行限制。

⑴首先我们来看一下不设置 ulimit 限制时调用 ls 命令的情况：

图 2. 未设置 ulimit 时 ls 命令使用情况

可以看到此时的 ls 命令运行正常。下面设置ulimit：

[root@localhost~]# ulimit -d 1000 -m 1000 -v 1000

这三个选项的含义：

-d：设置数据段的最大值。单位：KB。

-m：设置可以使用的常驻内存的最大值。单位：KB。

-v：设置虚拟内存的最大值。单位：KB。

通过上面的 ulimit 设置我们已经把当前shell 所能使用的最大内存限制在 1000KB 以下。接下来我们看看这时运行 ls 命令会得到什么样的结果：

从上面的结果可以看到，此时 ls 运行失败。根据系统给出的错误信息我们可以看出是由于调用 libc 库时内存分配失败而导致的 ls 出错。那么我们来看一下这个 libc 库文件到底有多大：

图 3. 查看 libc 文件大小

从上面的信息可以看出，这个 libc 库文件的大小是 13KB，这也就充分证明了ulimit 所起到的限制 shell 内存使用的功能。

⑵使用 ulimit 限制 shell 创建的文件的大小

接下来向读者展示如何使用 -f 选项来对 shell 所能创建的文件大小进行限制。

首先我们来看一下，没有设置 ulimit-f 时的情况：

图 4. 查看文件

有一个文件 testFile 大小为 20480bytes，现在使用 cat 命令来创建一个www.dump的 copy

图 5. 未设置 ulimit 时创建复本

从上面的输出可以看出，我们成功的创建了 www.dump的拷贝www.dump.new

下面我们设置 ulimt – f 100：

[root@localhost~]# ulimit -f 10

-f 选项的含义是：用来设置 shell 可以创建的文件的最大值。单位是 blocks。

现在我们再来执行一次相同的拷贝命令看看会是什么结果：

图 6. 设置 ulimit 时创建复本

这次创建 www.dump 的拷贝失败了，系统给出的出错信息时文件大小超出了限制。在 Linux 系统下一个 block 的默认大小是 512 bytes。所以上面的 ulimit 的含义就是限制 shell 所能创建的文件最大值为 512 x 10= 5120 bytes，小于20480bytes，所以创建文件失败，符合我们的期望。

⑶使用 ulimit 限制程序所能创建的 socket 数量

考虑一个现实中的实际需求。对于一个 C/S 模型中的 server 程序来说，它会为多个 client 程序请求创建多个 socket 端口给与响应。如果恰好有大量的 client 同时向 server 发出请求，那么此时 server 就会需要创建大量的 socket 连接。但在一个系统当中，往往需要限制单个 server 程序所能使用的最大 socket 数，以供其他的 server 程序所使用。那么我们如何来做到这一点呢？答案是我们可以通过 ulimit 来实现！细心的读者可能会发现，通过前面章节的介绍似乎没有限制 socket 使用的 ulimit 选项。是的，ulimit 并没有哪个选项直接说是用来限制 socket 的数量的。但是，我们有 -n 这个选项，它是用于限制一个进程所能打开的文件描述符的最大值。在 Linux 下一切资源皆文件，普通文件是文件，磁盘打印机是文件，socket 当然也是文件。在 Linux 下创建一个新的 socket 连接，实际上就是创建一个新的文件描述符。如下图所示（查看某个进程当前打开的文件描述符信息）：

图 7. 查看进程打开文件描述符

因此，我们可以通过使用 ulimit – n 来限制程序所能打开的最大文件描述符数量，从而达到限制 socket 创建的数量。

使用 ulimit 限制 shell 多线程程序堆栈的大小（增加可用线程数量）

在最后一个例子中，向大家介绍如何使用 -s（单位 KB）来对线程的堆栈大小进行限制，从而减少整个多线程程序的内存使用，增加可用线程的数量。这个例子取自于一个真实的案例。我们所遇到的问题是系统对我们的多线程程序有如下的限制：

ulimit -v 200000

根据本文前面的介绍，这意味着我们的程序最多只能使用不到 200MB 的虚拟内存。由于我们的程序是一个多线程程序，程序在运行时会根据需要创建新的线程，这势必会增加总的内存需求量。一开始我们对堆栈大小的限制是 1024 （本例子中使用 1232 来说明）：

# ulimit – s 1232

当我们的程序启动后，通过 pmap 来查看其内存使用情况，可以看到多个占用 1232KB 的数据段，这些就是程序所创建的线程所使用的堆栈：

图 8. 程序线程所使用的堆栈

每当一个新的线程被创建时都需要新分配一段大小为 1232KB 的内存空间，而我们总的虚拟内存限制是 200MB，所以如果我们需要创建更多的线程，那么一个可以改进的方法就是减少每个线程的固定堆栈大小，这可以通过 ulimit – s 来实现：

 # ulimit -s 512

我们将堆栈大小设置为 512KB，这时再通过 pmap 查看一下我们的设置是否起作用：

图 9. 设置 ulimit 后堆栈大小

从上面的信息可以看出，我们已经成功的将线程的堆栈大小改为 512KB 了，这样在总内存使用限制不变的情况下，我们可以通过本小节介绍的方法来增加可以创建的线程数，从而达到改善程序的多线程性能。