linux(centos)调优之进程线程数pid、thread

概念

• 进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元，在传统的操作系统中，进程既是基本的分配单元，也是基本的执行单元。

• 线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。

• Linux将线程视为进程

现象

• docker stats显示
  
• 系统日志显示：

1. runtime: failed to create new OS thread (have 5 already; errno=12)\nfatal error: newosproc

2. start returned error: OCI runtime start failed: runc did not terminate successfully: runtime/cgo: pthread_create failed: Resource temporarily unavailable

• 执行系统命令显示：
  fork: Cannot allocate memory

分析

当前系统进程总数（包括线程）

ps -eLf|wc -l

显示值为 32635

limit 值：用户打开的最大open files句柄

# 通过 命令
ulimit -a

查询到值是 65535

max user processes 值：用户限制的最大进程数(包括线程)

# 通过 命令
ulimit -a

查询到值是 111819，默认为系统最大线程数(kernel.threads-max)一半

kernel.threads-max值：系统限制的最大线程数

 cat /proc/sys/kernel/threads-max
  或者
 sysctl -a | grep threads-max

查询到值是 223639

kernel.pid_max：系统限制的最大进程数

 cat /proc/sys/kernel/pid_max
 或者
 sysctl -a | grep pid_max

查询到值是 32768

原因

达到系统进程总数最大值
用户的max user processes的值，最后是受全局的kernel.pid_max的值限制。
虽然kernel.pid_max=32768，用户的max user processes的值是111819，
最终因为系统的限制用户能打开的最大进程数还是32768；
此处可以看出来实际进程数32635与系统最大数32768值很接近。

修改

系统最大进程数

echo "kernel.pid_max = 655350" >> /etc/sysctl.conf
// 立即生效，此方式永久生效
sysctl -p 

用户最大进程数（包括线程数）

soft nproc ：单个用户可用的最大进程数量(超过会警告);
hard nproc：单个用户可用的最大进程数量(超过会报错);

vi /etc/security/limits.conf
在文件内容最后一行,添加如下的行

* soft noproc 65536
* hard noproc 65536

系统最大线程数【一般不用改，较大】

echo "kernel.threads-max = 223639" >> /etc/sysctl.conf
// 立即生效，此方式永久生效
sysctl -p 

补充：pid_max 和threads-max的区别

两者都是系统范围内对创建task_struct（Linux中进程和线程都是task_struct）的限制，但是两者的设计考量点不同；
pid_max是限制do_fork创建一个新任务的时候分配的pid最大值，在32bit系统上4G内存默认最大是三万多个，64bit系统上默认最大是四百多万个；
虽然pid_max允许系统创建那么多任务，但是资源不够怎么办？让系统崩溃吗？
当然不能让系统崩溃，超过了可以拒接创建新任务，这时候就需要threads-max从资源的角度来限制；
do_fork创建新任务有两个主要流程：
copy_process拷贝父进程的结构（物理页是COW）；
wake_up_new_task唤醒创建的新任务；
在copy_process中，会检查系统中的任务数量（存放在nr_threads变量中）是否超过threads-max的值，如果超过了那就不允许创建了（防止fork炸弹）；
至于threads-max做资源限制的原则见上文，如果任务（主要是任务结构+内核栈）占用的了超过1/8的内存，那么threads-max就会减少；
系统范围内，能创建多少任务，取决于pid_max和threads-max中的最小值；
虽然ulimit -u设置的是当前shell的环境变量，但是一般都是登录shell，所以可以认为是用户级别的限制；
Linux环境变量参看这篇文章：https://blog.csdn.net/reliveit/article/details/45224575
pid_max和threads-max是系统范围内，包含了所有用户的限制，而ulimit -u是当前用户的限