最近发现很多hpc 领域的MPI程序中在用usleep(0) ,比较差异。 后来问了之前做hpc 的同事 得到的答复是
一般用usleep(0) 的主要目的应该是:
CPU交出当前线程的执行权,让CPU去执行其他线程。也就是放弃当前线程的时间片,转而执行其他线程
我感觉很诧异。 Usleep(0) 来做这个事情 是POSIX要求的 还是一个意外的发现呢? 我记得我之前都是用 sched_yield() 的啊。
于是有2个问题
1 :usleep(0) 能不能让权,
2 :如果可以和sched_yield 比到底谁更合适
我先man了一下usleep(0) 在linux上 ,
Usleep 不应该大于 1s 这个是确定无疑的, 但是usleep(0) 的行为 就比较诡异了。Man 上没有明确提到 看来POSIX是不要求让权的, 这在QNX MAC 等操作系统上 明确看到
Glibc 对于 usleep(0) 是
同时linux man 到明确写着
那usleep 究竟有没有这个效果呢 。
先来看几个奇怪的现象:
执行shell usleep 0 会明显的看到调用了
难道
usleep(0) = sched_yield?
而
执行shell usleep x (x!=0 ) 会去调用naonsleep
这就比较合理了, 之前猜测 usleep 就应该是调用了 nanosleep ,
然后写一个 c 函数调用来看看
会发现 无论是0 还是 !0 都是调用的
这就比较合理了, 看了glibc源码 也验证了确实是 封装naosleep
那第一个问题在linux 上就变成 naosleep(0,0) 是不是会去让权了, 他和sheld_yield 的区别。
在.18 之后 应该naosleep 都是基于 hrtimer的机制实现了 (
==============================================================
- <span style="white-space: normal; background-color: #ffffff;">do_nanosleep(struct hrtimer_sleeper *t, enum hrtimer_mode mode)</span>
- {
- hrtimer_init_sleeper(t, current);
- do {
- set_current_state(TASK_INTERRUPTIBLE);
- hrtimer_start_expires(&t->timer, mode);
- if (!hrtimer_active(&t->timer))
- t->task = NULL;
- if (likely(t->task))
- schedule();
- hrtimer_cancel(&t->timer);
- mode = HRTIMER_MODE_ABS;
- } while (t->task && !signal_pending(current));
- __set_current_state(TASK_RUNNING);
- return t->task == NULL;
- }
=======
补充一个 在2.6.9内核 或者可能之前的glibc实现中 usleep(0) 如果是基于 select (0) 这样的实现
在判断入参是0 之后会离开返回 不会调用 schelduer()的
=====================================================================
)
根据nanosleep 的 syscall ,发现
很明显的有 schedule(), 于是可以确定 usleep(0) 如果一切顺利确实会让权,那么和sched_yield比呢
于是写了一个 main
- #include <unistd.h>
- #include <sched.h>
- int main(){
- int j ;
- for(j=0; j<100000; j++)
- //usleep(0);
- sched_yield();
- }
在sched_yield() 的时候 调用10万次 的耗时如下
在usleep(0) 的时候 调用10万次 的耗时如下
延迟简直不是一个数量级。。 太可怕了,如果用于网络 那要丢多少UDP , TCP要做多少次拥塞避免。
在来看一下MPI中的这个问题
http://trac.mcs.anl.gov/projects/mpich2/ticket/1597\
MPI有个Yield宏,使用了 usleep(0) ,但是比较大的延迟
最后一张表的意思是, 应该尽可能的让CPU 100%,这样才算是yield。。
那为什么会造成usleep 如此延迟呢?
先看一下 trace的信息
Usleep
非常可怕 因为是非主动让权 调用了 deactivate_task()有简单操作系统知识的都知道
简直就恶魔。。。
然而 sched_yield()
非常干净 简直perfect!
我们知道 在hpc 领域 MPI 的终极目地 就是耗尽CPU
像usleep(0) 这么高的延迟 肯定是不能用来做让权的。 而且我也不觉得 usleep(0) 可以用在任何地方 ,这是一个没保证,(你知道哪天glibc改了呢) 和极其不高效的方式 。
如果你是为了耗掉一个机器周期 ,那直接asm ("nop") ,如果是为了让权建议所有使用usleep(0) (注意是0,不是其他)的地方换成 sched_yield() ;