今天晚上,有同学给我报了一个内部网络协议包 stpclient
的 bug,如下:
File "/data/apps/column-web/eggs/snow-3.2.1-py2.7.egg/snow/client.py", line 146, in service
stp_response = self._client.call(stp_request.argv)
File "/data/apps/column-web/eggs/snow-3.2.1-py2.7.egg/snow/client.py", line 51, in call
self.send_request(request)
File "/data/apps/column-web/eggs/stpclient2-0.0.15-py2.7.egg/stpclient2/client.py", line 221, in send_request
self._timeout)
ValueError: filedescriptor out of range in select()
这个异常已经发生过好几次了,所以我决定弄清楚原因。
寻找原因
首先,坊间流传的版本是,当 select
中监听的 fd
个数超过 1024 的时候,就会出现这个异常,我分析了一下,这个异常是 stp 的客户端抛出的,因为这个版本的客户端是我写的,所以我清楚的知道,不可能有超过1024个fd,同时被 select
,那么问题就来了,到底是因为啥呢?
这个时候,能想到的问题就是,肯定就是坊间的版本有问题,于是首先我看了一下,select 系统调用中的说明,如下:
An fd_set is a fixed size buffer. Executing FD_CLR() or FD_SET() with a value of fd that is negative or is equal to or larger than FD_SETSIZE will result in undefined behavior. Moreover, POSIX requires fd to be a valid file descriptor.
select 的 notes 中写到:
fd_set 是一个固定大小的 buffer,当设置的 fd 为负或者是超过 FD_SETSIZE 的时候,就会产生 undefined behavior,POSIX 要求 fd 是一个合法的 fd
从这面来看,和坊间的传闻是有差别的,并不是同时监听的 fd 超过 FD_SETSIZE 就会有问题,而是 fd 大小超过 FD_SETSIZE 就会有问题,FD_SETSIZE 是定义在 select.h 中的,大小为1024(出问题的机器上),所以应该是 fd 大小超过 1024 就会有问题.
/usr/include/linux/posix_types.h
#undef __FD_SETSIZE
#define __FD_SETSIZE 1024
但是,到这里,并没有知道我们看到的那行异常是怎么抛出来的
ValueError: filedescriptor out of range in select()
明显,这是 python 抛出来的异常,系统调用只是说会产生 undefined behavior 而已。
这个时候,顺着 python 的 socket
模块,找到了 select
模块 的 python 源代码,我们发现了如下几行:
Modules/selectmodule.c
#if defined(_MSC_VER)
max = 0; /* not used for Win32 */
#else /* !_MSC_VER */
if (!_PyIsSelectable_fd(v)) {
PyErr_SetString(PyExc_ValueError,
"filedescriptor out of range in select()");
goto finally;
}
if (v >= max)
max = v;
#endif /* _MSC_VER */
然后我们发现,当调用 _PyIsSelectable_fd
返回 false 的时候,会产生我们上面的那个异常,接下来我们看一下 _PyIsSelectable_fd
的实现:
Include/fileobject.h
#ifdef HAVE_SELECT
#define _PyIsSelectable_fd(FD) (((FD) >= 0) && ((FD) < FD_SETSIZE))
#else
#define _PyIsSelectable_fd(FD) (1)
#endif /* HAVE_SELECT */
因为 POSIX 里面仅仅规定了 select 系统调用传入的 fd 需要合法,那就需要调用方检测 fd,所以在 python 里面,当 fd 为负,或者是超过 FD_SERSIZE 就会被当做不合法,抛出 ValueError
那么现在问题明确了,肯定是因为执行 select 调用的时候,传入了大于 1024 或者是小于 0 的fd,导致了上面异常的出现,接下来的问题就是需要找到为啥会出现大于1024的 fd 了
解释现象
通过基础架构的同学了解到,我们对于进程最大能开启的进程数做了调整,supervisor 里面每个进程最大能开启的 fd 个数是 655360,所以完全有可能出现 fd 超出 1024 的情况.
这个异常是出现在 web 机器上,因为一部分 zone 的服务使用了短链接,所以会导致单进程拥有的 fd 个数很高,超过 1024.
至此,这个问题算是得到了一个合理的解释,因为大量使用短链接,所以导致单进程的 fd 个数升高,超出了 1024 限制,出现了最开始的异常
解决方法
- 因为这个值是定义在内核里面,所以如果在维持目前方案不变的前提下,解决这个问题就需要重新编译 Linux-kernel,将这个值提高
- 修改 stpclient 的客户端,使用epoll,代替比较老旧的 select,当时使用 select 的原因是,fd 个数很少,性能上没有问题,同时 select 在其他平台上也可以得到支持