Linux中突破线程数的限制

当大型的应用需要创建几十万的线程时,需要修改linux的系统值,以支持这样的应用,相关的参数调整为:

1.ulimit 的参数调整

ulimit -s

ulimit -u

ulimit -n

可以修改/etc/security/limits.conf文件,使其永久生效

2.调整句柄数
/proc/sys/kernel/pid_max

/proc/sys/kernel/threads-max

/proc/sys/vm/max_map_count

/proc/sys/fs/file-max

注:

max_map_count

max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量。虚拟内存区域是一个连续的虚拟地址空间区域。在进程的生命周期中,每当程序尝试在内存中映射文件,链接到共享内存段,或者分配堆空间的时候,这些区域将被创建。调优这个值将限制进程可拥有VMA的数量。限制一个进程拥有VMA的总数可能导致应用程序出错,因为当进程达到了VMA上线但又只能释放少量的内存给其他的内核进程使用时,操作系统会抛出内存不足的错误。如果你的操作系统在NORMAL区域仅占用少量的内存,那么调低这个值可以帮助释放内存给内核用。

 

这个值太小,创建线程过多,会出现错误:

 fork: Cannot allocate memory

 

syctrl -a

修改/etc/sysctl.conf

sysctl -p


3.如果使用了tcp连接,需要修改端口范围

net.ipv4.ip_local_port_range

tcp协议的端口限制,一个进程最多建立6万多的连接。

Linux,poll函用于等待一个或多个文件描述符的I/O事件。与select和epoll相比,poll函的不足之处在于效率较低,因为它需要遍历整个文件描述符集合。 在Linux使用poll函时,有一个线程资源的限制,即可以同时处理的线程量有限。这是因为操作系统对每个进程或线程的资源分配是有一定限制的,包括线程栈大小、文件描述符量、内存使用等等。 当使用poll函时,每个线程都会占用一定的系统资源。如果创建过多的线程并同时调用poll函,可能会导致系统资源不足的问题,比如资源耗尽、内存溢出等。因此,需要合理控制线程量,以避免资源限制的问题。 为了克服线程资源限制,可以采取以下几种方法: 1. 使用线程池:通过线程池管理线程,在需要使用poll函的时候从线程获取一个线程,并在使用完后将其放回线程,避免创建过多的线程,从而降低系统资源的消耗。 2. 调整系统资源限制:通过修改系统配置文件或运行时参,增加线程栈大小、文件描述符量等资源限制值,从而扩大系统能够处理的线程量。但是需要注意,调整这些系统资源限制可能会影响其他方面的性能。 3. 使用更高效的I/O模型:如果对响应时间有严格要求,并且在处理大量并发连接的情况下,考虑使用更高效的I/O模型,如epoll等,以提高系统的性能和资源利用率。 总之,在使用linux的poll函时,需要注意线程资源的限制,合理控制线程量,防止资源耗尽等问题的发生。通过合理的线程管理和配置系统资源限制,可以提高应用程序的性能和可扩展性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

淡定的茶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值