linux文件句柄、单个用户进程数、swap分区、软限制、硬限制等系统调优

无论对Spark集群，还是Hadoop集群等大数据相关的集群进行调优，对linux系统层面的调优都是必不可少的，这里主要介绍3种常用的调优：

1. linux文件句柄

linux在整个系统层面和单个进程两个层面对打开的文件句柄进行限制。

配置文件/proc/sys/fs/file-max是对整个系统层面对打开的文件句柄最大数进行控制，单个用户或进程能够打开的文件句柄数受此限制。

通过ulimit -a查看当前用户或进程能够打开的最大文件数：

上述只是默认值，在实际生产环境肯定是不够用的，如果配置过小，有时会报类似can’t open so many files的错误。通过ulimit -n可以对该值进行临时修改。

如果想永久生效，需要修改配置文件/etc/security/limits.conf，如soft nofile 10000、hard nofile 10000追加到配置文件中。

2. 单个用户最大进程数

上图中max user processes就是单个用户最大进程数的限制，通过ulimit -u可以临时修改。永久修改需要追加，如soft nproc 10000、hard nproc 10000到/etc/security/limits.conf文件中

3. swap分区

又被称为交换分区，占用的是磁盘空间。操作系统可以将一部分数据存于swap分区中，从而为当前运行的程序腾出足够的内存空间。但因为数据存于磁盘，性能会相对内存低&#x