高并发TCP连接时处理方法

 关键词：

        高并发、TCP。

摘  要：

        本文重点介绍高并发TCP连接时和一些数量限制，以及处理的一些方法。

目录

1、案例描述

2、案例分析与解决

2.1、Lnux下的处理

2.2、Windows下的处理

2.3、优化处理

---

1、案例描述

        当集中快速建立TCP连接时会出现无法初始化socket的情况，导致无法建立TCP连接，处理失败。其主要原因是操作系统对一个端口同时处理的socket连接数量进行了限制， 一般为1024。当应用系统完成操作释放连接时，并不能马上释放绑定的端口，而是把端口设置为TIME_WAIT状态，过段时间(默认240s)才释放。这样当有浪涌的TCP连接请求时容易导致大量的TCP连接无法建立。解决此问题的有两个途径，一个是增加系统对端口并发连接数的限制，另一个是降低TIME_WAIT 时长。

2、案例分析与解决

2.1、Lnux下的处理

        在Linux 平台上，无论编写客户端程序还是服务端程序，在进行高并发TCP连接处理时，最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每个TCP连接都要创建一个socket句柄，每个socket句柄同时也是一个文件句柄) 。可使用ulimit 命令查看系统允许当前用户进程打开的文件数限制：

[hwjian@as4 ~]$ ulimit -n 1024

        这表示当前用户的每个进程最多允许同时打开1024个文件，这1024个文件中还得除去每个进程必然打开的标准输入，标准输出，标准错误，服务器监听socket，进程间通讯的unix域socket等文件，那么剩下的可用于客户端socket连接的文件数就只有大概1024-10=1014个左右。也就是说缺省情况下，基于Linux 的通讯程序最多允许同时1014个TCP并发连接。对于想支持更高数量的TCP并发连接的通讯处理程序，就必须修改Linux 对当前用户的进程同时打开的文件数量的软限制(soft limit) 和硬限制(hardlimit) 。其中软限制是指Linux 在当前系统能够承受的范围内进一步限制用户同时打开的文件数； 硬限制则是根据系统硬件资源状况( 主要是系统内存)计算出来的系统最多可同时打开的文件数量。通常软限制小于或等于硬限制。

        修改上述限制的最简单的办法就是使用ulimit 命令：

[hwjian@as4 ~]$ ulimit -n <file_num>

        上述命令中，在<file_num> 中指定要设置的单一进程允许打开的最大文件数。如果系统回显类似于“ Operation notpermitted ”之类的话，说明上述限制修改失败，实际上是因为在<file_num> 中指定的数值超过了Linux 系统对该用户打开文件数的软限制或硬限制。因此，就需要修改Linux 系统对用户的关于打开文件数的软限制和硬限制。

        第一步，修改/etc/security/limits.conf 文件，在文件中添加如下行：

hwjian soft nofile 10240
hwjian hard nofile 10240

        其中hwjian指定了要修改哪个用户的打开文件数限制，可用'*' 号表示修改所有用户的限制； soft或hard指定要修改软限制还是硬限制； 10240则指定了想要修改的新的限制值，即最大打开文件数(请注意软限制值要小于或等于硬限制)。修改完后保存文件。

        第二步，修改/etc/pam.d/login 文件，在文件中添加如下行：

session required /lib/security/pam_limits.so

        这是告诉Linux 在用户完成系统登录后，应该调用pam_limits.so 模块来设置系统对该用户可使用的各种资源数量的最大限制(包括用户可打开的最大文件数限制)，而pam_limits.so 模块就会从/etc/security/limits.conf 文件中读取配置来设置这些限制值。修改完后保存此文件第三步，查看Linux 系统级的最大打开文件数限制，使用如下命令：

[hwjian@as4 ~]$ cat /proc/sys/fs/file-max

12158

        这表明这台Linux 系统最多允许同时打开(即包含所有用户打开文件数总和)12158 个文件，是Linux 系统级硬限制，所有用户级的打开文件数限制都不应超过这个数值。通常这个系统级硬限制是Linux 系统在启动时根据系统硬件资源状况计算出来的最佳的最大同时打开文件数限制， 如果没有特殊需要， 不应该修改此限制， 除非想为用户级打开文件数限制设置超过此限制的值。修改此硬限制的方法是修改/etc/rc.local 脚本，在脚本中添加如下行：

echo 22158 > /proc/sys/fs/file-max

        这是让Linux 在启动完成后强行将系统级打开文件数硬限制设置为22158。修改完后保存完成上述步骤后重启系统， 一般情况下就可以将Linux 系统对指定用户的单一进程允许同时打开的最大文件数限制设为指定的数值。如果重启后用ulimit-n 命令查看用户可打开文件数限制仍然低于上述步骤中设置的最大值，这可能是因为在用户登录脚本/etc/profile 中使用ulimit-n 命令已经将用户可同时打开的文件数做了限制。由于通过ulimit-n 修改系统对用户可同时打开文件的最大数限制时，新修改的值只能小于或等于上次ulimit-n 设置的值，因此想用此命令增大这个限制值是不可能的。所以， 如果有上述问题存在， 就只能去打开/etc/profile脚本文件，在文件中查找是否使用了ulimit-n 限制了用户可同时打开的最大文件数量，如果找到， 则删除这行命令， 或者将其设置的值改为合适的值，然后保存文件， 用户退出并重新登录系统即可。

        通过上述步骤， 就为支持高并发TCP连接处理的应用解除了关于打开文件句柄数量方面的系统限制。

2.2、Windows下的处理

        1.启动注册表编辑器。

        2.注册表, 中找到以下子项， 然后单击参数：

HKEY _ LOCAL _ MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters

        3.在编辑菜单, 单击新建, 然后添加以下注册表项：

                MaxUserPort 值名称：

                值类型： DWORD

                值数据： 65534

                有效范围： 5000 - 65534 ( 十进制)

                默认： 0x1388 5000 （十进制）

                说明： 此参数控制程序从系统请求任何可用用户端口时所用最大并发数。

        4.退出注册表编辑器, 并重新启动计算机。

                注意一个附加TCPTimedWaitDelay 注册表参数决定多久关闭端口等待可以重用关闭端口，大多数情况下这个参数设置为30即可满足性能要求。

2.3、优化处理

        上述针对两种操作系统环境，是通过修改相应的配置参数来解决实际应用中的问题，其实在某些特殊情况下，比如并发量巨大，上述这些配置的修改很多时候也满足不了要求，其实此时程序本身也可以做相应的修改，比如可以通过使用长连接，最大复用socket端口，这样可以最大降低端口的使用量，再同上述的方法相结合，基本可以解决相应的问题。