代码分布
在分析代码之前, 先看看代码的分布情况。RCU实现的代码包含在下列一些文件中,此处用到的是linux 3.6.4的代码。
- < include/linux/rcupdate.h >
RCU实现的头文件,所有使用RCU的代码都需要包含它
- < include/rcutree.h >
包含rcupdate.h中没有包含的函数声明。
- < include/rcutiny.h >
包含rcupdate.h中没有包含的函数声明。
- < kernel/rcupdate.c >
包括一些RCU实现的基础函数的实现。
- < kernel/rcutree.h >
包含Tree RCU用到的结构信息,TREE_RCU将所有的CPU组织成一颗树,通过层次结构来判别进程是否通过了宽限期,这种方式适用于多个CPU的系统。
- < kernel/rcutree.c >
包含Tree RCU的主要实现代码。
- < kernel/rcutree_plugin.h >
其实也是TREE RCU实现的一部分。主要包含了抢入式TreeRCU的代码。适用于抢入式的系统,抢入式的系统适用于需要低延迟的桌面或者嵌入式系统。
- < kernel/rcutiny.c >
Tiny RCU的主要实现代码,TINY_RCU适用于单个CPU,尤其是嵌入式操作系统。
- < kernel/rcutiny_plugin.h >
主要包含了抢入式Tiny RCU的代码
- < kernel/rcu.h >
定义了debug的接口,实现了__rcu_reclaim。
- < kernel/rcutorture.c>
对RCU进行稳定性测试的代码,通过配置CONFIG_RCU_TORTURE_TEST,可以在系统启动的时候运行稳定性测试。
- < kernel/rcutree_trace.c>
通过配置CONFIG_RCU_TRACE,可以记录RCU的运行信息。
- < include/trace/events/rcu.h>
为rcutree_trace.c定义的头文件。
RCU处理的基本流程
RCU实现的关键集中在宽限期的处理上,这个过程需要保证销毁对象前,当前系统中所有CPU上运行的进程都通过了静止状态(quiescent state)。
1, 程序调用call_rcu,将要删除的对象保存起来。并标记或者开始一个宽限期(同一时间只能运行一个宽限期,所以当已经有宽限期在运行的时候,其它的宽限期必须等待)。
2, 在读取数据开始和结尾处增加 rcu_read_lock 和 rcu_read_unlock来标记读过程。为了保证删除过程知道读过程的结束,在非抢占式RCU实现中是在rcu_read_lock开始处禁止进程抢占。这样做就可以保证再运行下一次进程切换的时候,读过程已经结束。其实系统也不会去统计各个CPU上是否存在过读线程,所以所有的CPU都会在进程切换的时候通知系统它处于进制状态。当所有的CPU都通过静止状态的时候,系统就会标记它通过了一个宽限期。
3,由于一个宽限期结束的时候,只有最后一个通过静止状态的CPU知道当前的宽限期已经结束,它并不会去通知其它CPU;同时出于性能考虑,系统也不会在宽限期结束后,马上去执行销毁过程。所以每个CPU都有一个固定的函数去检测是否有等待执行的宽限期,如果没有特别紧急的任务时,会去执行这些过程。
接下来,要分析Tree RCU的实现,先来看看它提供的一些接口函数。
1, call_rcu 与 synchronize_rcu都是删除对象时调用的函数。call_rcu将数据提交后会返回,而synchronize_rcu会调用call_rcu,并一直等待对象被删除后才返回。还有call_rcu_bh与synchronize_rcu_bh等接口函数,会在后续讲述。
2,rcu_read_lock 和 rcu_read_unlock
<linux/rcuupdate.h>
static inline void __rcu_read_lock(void) { preempt_disable(); } static inline void __rcu_read_unlock(void) { preempt_enable(); }
static inline void rcu_read_lock(void) { __rcu_read_lock(); __acquire(RCU); rcu_lock_acquire(&rcu_lock_map); rcu_lockdep_assert(!rcu_is_cpu_idle(), "rcu_read_lock() used illegally while idle"); } static inline void rcu_read_unlock(