LINUX内核中链表的设计和实现

文章中引用的代码来源于LINUX 内核2.6.x版本.

linux内核中链表的实现是相当的出色的，《linux内核设计与实现》（附录A）中说“linux内核使用了一种独一无二的方法遍历链表”、“为了这种巧妙设计，内核骇客们还是颇有点自豪的”。

linux内核通过定义list_head以及对于list_head上的一组操作实现对不同类型的循环链表的同类操作，这种做法避免了对于不同数据类型的循环链表定义重复的操作函数，使代码得到了充分的使用，是一种十分有效的编程方法。

尽管这里使用2.6内核作为讲解的基础，但实际上2.4内核中的链表结构和2.6并没有什么区别。不同之处在于2.6扩充了两种链表数据结构：链表的读拷贝更新（rcu）和HASH链表（hlist）。这两种扩展都是基于最基本的list结构，因此，本文主要介绍基本链表结构，然后再简要介绍一下rcu和hlist。

 

1，Linux内核链表数据结构list_head的定义

链表数据结构的定义很简单（include/linux/list.h)：

struct list_head {     struct list_head *next, *prev; };

乍一看这定义，似乎很普通，但妙就妙在普通上。

通常我们的做法总是将数据嵌入到链表的节点中，类似下面的定义方法：

struct list_node {     data_type data;     list_node *next, *prev; }

示意图如下：

但是，LINUX正好相反，将链表节点嵌入到数据结构中：

struct data_type {
    data;
    list_head;
}

示意图如下(其中增加了一个哑元)：

 

    在这种链表中，所有的链表基本操作都是针对list_head数据结构进行，而不是针对包含list_head的数据结构，所以无论什么数据，链表操作都得到了统一。那么，现在碰到一个问题，因为所有链表操作涉及到的指针都是指向list_head数据结构的，而不是包含的数据结构，那么怎样从list_head的地址得到包含其的数据结构的地址呢？

这里就涉及到一个问题：如何通过结构中的某个变量获取结构本身的指针？

我们来看linux内核中的list_entry(p,t,m)这个宏：

/**
* list_entry - get the struct for this entry
* @ptr: the &struct list_head pointer.
* @type: the type of the struct this is embedded in.
* @member: the name of the list_struct within the struct.
*/
#define list_entry(ptr, type, member) \
    container_of(ptr, type, member)

 

/**
* container_of - cast a member of a structure out to the containing structure
* @ptr: the pointer to the member.
* @type: the type of the container struct this is embedded in.
* @member:the name of the member within the struct.
*/
#define container_of(ptr, type, member) ({ \
    const typeof( ((type *)0)->member ) *__mptr = (ptr); \
    (type *)( (char *)__mptr - offsetof(type,member) );})

 

#define offsetof(TYPE, MEMBER) ((size_t) &((TYPE *)0)->MEMBER)

container_of是一个有点复杂的宏,使用了C扩展关键字typeof，还有不好理解的求结构体成员变量偏移.....

((type *)0)是将0强制转化为type *，也就是指向type类型的指针

((type *)0)->member是访问type结构中的member成员

const typeof( ((type *)0)->member ) *__mptr  //定义一个与((type *)0)->member同种类型的指针变量（const变量）

const typeof( ((type *)0)->member ) *__mptr=(ptr)  //对常量指针变量__mptr赋值

#define offsetof(TYPE, MEMBER) ((size_t) &((TYPE *)0)->MEMBER)

宏定义中((size_t) &((TYPE *)0)->MEMBER得到member在type结构体中的偏移量

值得一提的是，offsetof宏的实现非常巧妙，它把0地址转化为TYPE结构的指针，然后获取该结构中MEMBER成员的指针，并将其强制类型转换为size_t类型。于是，由于结构从0地址开始定义，因此，cast后的MEMBER成员地址，实际上就是它在结构中的偏移量。这也显示出了C语言中指针的强大。

 

(char *)__mptr - offsetof(type,member) 将__mptr强制转化为char类型指针，也就是__mptr的地址（结构中member的地址），然后减去member在结构体中的偏移量，得到的自然就是结构体起始地址（偏移量求的很巧妙，又很巧妙的获得结构体起始地址）。

(type *)( (char *)__mptr - offsetof(type,member) )最后再强制转化为(type *)类型，得到ptr所在的结构体对象（大功告成）。

到此成功的通过结构体对象的一个域的字段，获取了结构体对象本身，即访问list_head关联的结构对象成功。

小结一下这种链表的优点：

(1) 所有链表基本操作都是基于list_head指针的，因此添加类型时，不需要重复写链表基本操作函数

(2) 一个container数据结构可以含有多个list_head成员，这样就可以同时挂到多个不同的链表中，例如linux内核中会将进程数据结构(task_struct)同时挂到任务链表、优先级链表等多个链表上，下面会有更多说明。

 

2，链表操作接口

来看看linux内核中提供的链表基本操作（不做说明的数据类型都是list_head *）：

list_add(new, head);            //将new插入到list head元素后面
list_add_tail(new, head);       //将new插入到list tail
list_del(entry);                //删除entry节点
list_empty(head);               //检查是否为空链表
list_entry(ptr, type, member);  //前面解释过了
list_for_each(pos, head);       //遍历列表，每次循环是通过pos返回节点list_head指针
list_for_each_entry(pos, head, member); //同上，但通过pos返回的是container数据结构的地址。

慢！发现一个问题了，list_entry中需要type，为啥list_for_each_entry不需要呢？简单，pos是你给的一个container数据结构的指针，在宏的实现中，用typeof(*pos)就得到type了！

 

a，声明和初始化

#define LIST_HEAD_INIT(name) { &(name), &(name) }
#define LIST_HEAD(name) struct list_head name = LIST_HEAD_INIT(name)

当我们用LIST_HEAD(nf_sockopts)声明一个名为nf_sockopts的链表头时，它的next、prev指针都初始化为指向自己，这样，我们就有了一个空链表，因为Linux用头指针的next是否指向自己来判断链表是否为空：

static inline int list_empty(const struct list_head *head)
{
    return head->next == head;
}

除了用LIST_HEAD()宏在声明的时候初始化一个链表以外，Linux还提供了一个INIT_LIST_HEAD宏用于运行时初始化链表：

#define INIT_LIST_HEAD(ptr) do { \
    (ptr)->next = (ptr); (ptr)->prev = (ptr); \
} while (0)

b，插入/删除/合并

对链表的插入操作有两种：在表头插入和在表尾插入。Linux为此提供了两个接口：

static inline void list_add(struct list_head *new, struct list_head *head);
static inline void list_add_tail(struct list_head *new, struct list_head *head);

假设有一个新nf_sockopt_ops结构变量new_sockopt需要添加到nf_sockopts链表头，我们应当这样操作：

list_add(&new_sockopt.list, &nf_sockopts);

从这里我们看出，nf_sockopts链表中记录的并不是new_sockopt的地址，而是其中的list元素的地址。如何通过链表访问到new_sockopt呢？下面会有详细介绍。

 

b) 删除 

static inline void list_del(struct list_head *entry);

当我们需要删除nf_sockopts链表中添加的new_sockopt项时，我们这么操作：

list_del(&new_sockopt.list);

被剔除下来的new_sockopt.list，prev、next指针分别被设为LIST_POSITION2和LIST_POSITION1两个特殊值，这样设置是为了保证不在链表中的节点项不可访问--对LIST_POSITION1和LIST_POSITION2的访问都将引起页故障。与之相对应，list_del_init()函数将节点从链表中解下来之后，调用LIST_INIT_HEAD()将节点置为空链状态。

 

c，搬移

Linux提供了将原本属于一个链表的节点移动到另一个链表的操作，并根据插入到新链表的位置分为两类：

static inline void list_move(struct list_head *list, struct list_head *head);
static inline void list_move_tail(struct list_head *list, struct list_head *head);

例如list_move(&new_sockopt.list,&nf_sockopts)会把new_sockopt从它所在的链表上删除，并将其再链入nf_sockopts的表头。

 

d，合并

除了针对节点的插入、删除操作，Linux链表还提供了整个链表的插入功能：

static inline void list_splice(struct list_head *list, struct list_head *head);

假设当前有两个链表，表头分别是list1和list2（都是struct list_head变量），当调用list_splice(&list1,&list2)时，只要list1非空，list1链表的内容将被挂接在list2链表上，位于list2和list2.next（原list2表的第一个节点）之间。新list2链表将以原list1表的第一个节点为首节点，而尾节点不变。如图（虚箭头为next指针）：

 

                              图4 链表合并list_splice(&list1,&list2)
 

当list1被挂接到list2之后，作为原表头指针的list1的next、prev仍然指向原来的节点，为了避免引起混乱，Linux提供了一个list_splice_init()函数：

static inline void list_splice_init(struct list_head *list, struct list_head *head);

该函数在将list合并到head链表的基础上，调用INIT_LIST_HEAD(list)将list设置为空链。

 

3. 遍历

遍历是链表最经常的操作之一，为了方便核心应用遍历链表，Linux链表将遍历操作抽象成几个宏。在介绍遍历宏之前，我们先看看如何从链表中访问到我们真正需要的数据项。

a) 由链表节点到数据项变量 

我们知道，Linux链表中仅保存了数据项结构中list_head成员变量的地址，那么我们如何通过这个list_head成员访问到作为它的所有者的节点数据呢？Linux为此提供了一个list_entry(ptr,type,member)宏，其中ptr是指向该数据中list_head成员的指针，也就是存储在链表中的地址值，type是数据项的类型，member则是数据项类型定义中list_head成员的变量名，例如，我们要访问nf_sockopts链表中首个nf_sockopt_ops变量，则如此调用：

list_entry(nf_sockopts->next, struct nf_sockopt_ops, list);

这里"list"正是nf_sockopt_ops结构中定义的用于链表操作的节点成员变量名。

list_entry的使用相当简单，相比之下，它的实现则有一些难懂：

#define list_entry(ptr, type, member) container_of(ptr, type, member)

#define container_of(ptr, type, member) ({   \
        const typeof( ((type *)0)->member ) *__mptr = (ptr); \
        (type *)( (char *)__mptr - offsetof(type,member) );})

#define offsetof(TYPE, MEMBER) ((size_t) &((TYPE *)0)->MEMBER)

size_t最终定义为unsigned int（i386）。

这里使用的是一个利用编译器技术的小技巧，即先求得结构成员在与结构中的偏移量，然后根据成员变量的地址反过来得出属主结构变量的地址。

container_of()和offsetof()并不仅用于链表操作，这里最有趣的地方是((type *)0)->member，它将0地址强制"转换"为type结构的指针，再访问到type结构中的member成员。在container_of宏中，它用来给typeof()提供参数（typeof()是gcc的扩展，和sizeof()类似），以获得member成员的数据类型；在offsetof()中，这个member成员的地址实际上就是type数据结构中member成员相对于结构变量的偏移量。

如果这么说还不好理解的话，不妨看看下面这张图：

图5 offsetof()宏的原理

对于给定一个结构，offsetof(type,member)是一个常量，list_entry()正是利用这个不变的偏移量来求得链表数据项的变量地址。

b) 遍历宏 

在[net/core/netfilter.c]的nf_register_sockopt()函数中有这么一段话：

…… struct list_head *i; ……  list_for_each(i, &nf_sockopts) {   struct nf_sockopt_ops *ops = (struct nf_sockopt_ops *)i;   ……  }  ……

函数首先定义一个(struct list_head *)指针变量i，然后调用list_for_each(i,&nf_sockopts)进行遍历。在[include/linux/list.h]中，list_for_each()宏是这么定义的：

 

#define list_for_each(pos, head) \  for (pos = (head)->next, prefetch(pos->next); pos != (head); \          pos = pos->next, prefetch(pos->next))

它实际上是一个for循环，利用传入的pos作为循环变量，从表头head开始，逐项向后（next方向）移动pos，直至又回到head（prefetch()可以不考虑，用于预取以提高遍历速度）。

那么在nf_register_sockopt()中实际上就是遍历nf_sockopts链表。为什么能直接将获得的list_head成员变量地址当成struct nf_sockopt_ops数据项变量的地址呢？我们注意到在struct nf_sockopt_ops结构中，list是其中的第一项成员，因此，它的地址也就是结构变量的地址。更规范的获得数据变量地址的用法应该是：

struct nf_sockopt_ops *ops = list_entry(i, struct nf_sockopt_ops, list);

大多数情况下，遍历链表的时候都需要获得链表节点数据项，也就是说list_for_each()和list_entry()总是同时使用。对此Linux给出了一个list_for_each_entry()宏：

#define list_for_each_entry(pos, head, member)  ……

与list_for_each()不同，这里的pos是数据项结构指针类型，而不是(struct list_head *)。nf_register_sockopt()函数可以利用这个宏而设计得更简单：

…… struct nf_sockopt_ops *ops; list_for_each_entry(ops,&nf_sockopts,list){  …… } ……

某些应用需要反向遍历链表，Linux提供了list_for_each_prev()和list_for_each_entry_reverse()来完成这一操作，使用方法和上面介绍的list_for_each()、list_for_each_entry()完全相同。

如果遍历不是从链表头开始，而是从已知的某个节点pos开始，则可以使用list_for_each_entry_continue(pos,head,member)。有时还会出现这种需求，即经过一系列计算后，如果pos有值，则从pos开始遍历，如果没有，则从链表头开始，为此，Linux专门提供了一个list_prepare_entry(pos,head,member)宏，将它的返回值作为list_for_each_entry_continue()的pos参数，就可以满足这一要求。

4. 安全性考虑

在并发执行的环境下，链表操作通常都应该考虑同步安全性问题，为了方便，Linux将这一操作留给应用自己处理。Linux链表自己考虑的安全性主要有两个方面：

a) list_empty()判断 

基本的list_empty()仅以头指针的next是否指向自己来判断链表是否为空，Linux链表另行提供了一个list_empty_careful()宏，它同时判断头指针的next和prev，仅当两者都指向自己时才返回真。这主要是为了应付另一个cpu正在处理同一个链表而造成next、prev不一致的情况。但代码注释也承认，这一安全保障能力有限：除非其他cpu的链表操作只有list_del_init()，否则仍然不能保证安全，也就是说，还是需要加锁保护。

b) 遍历时节点删除 

前面介绍了用于链表遍历的几个宏，它们都是通过移动pos指针来达到遍历的目的。但如果遍历的操作中包含删除pos指针所指向的节点，pos指针的移动就会被中断，因为list_del(pos)将把pos的next、prev置成LIST_POSITION2和LIST_POSITION1的特殊值。

当然，调用者完全可以自己缓存next指针使遍历操作能够连贯起来，但为了编程的一致性，Linux链表仍然提供了两个对应于基本遍历操作的"_safe"接口：list_for_each_safe(pos, n, head)、list_for_each_entry_safe(pos, n, head, member)，它们要求调用者另外提供一个与pos同类型的指针n，在for循环中暂存pos下一个节点的地址，避免因pos节点被释放而造成的断链。

 

四、 扩展

1. hlist

图6 list和hlist

精益求精的Linux链表设计者（因为list.h没有署名，所以很可能就是Linus Torvalds）认为双头（next、prev）的双链表对于HASH表来说"过于浪费"，因而另行设计了一套用于HASH表应用的hlist数据结构--单指针表头双循环链表，从上图可以看出，hlist的表头仅有一个指向首节点的指针，而没有指向尾节点的指针，这样在可能是海量的HASH表中存储的表头就能减少一半的空间消耗。

因为表头和节点的数据结构不同，插入操作如果发生在表头和首节点之间，以往的方法就行不通了：表头的first指针必须修改指向新插入的节点，却不能使用类似list_add()这样统一的描述。为此，hlist节点的prev不再是指向前一个节点的指针，而是指向前一个节点（可能是表头）中的next（对于表头则是first）指针（struct list_head **pprev），从而在表头插入的操作可以通过一致的"*(node->pprev)"访问和修改前驱节点的next（或first）指针。

2. read-copy update

在Linux链表功能接口中还有一系列以"_rcu"结尾的宏，与以上介绍的很多函数一一对应。RCU（Read-Copy Update）是2.5/2.6内核中引入的新技术，它通过延迟写操作来提高同步性能。

我们知道，系统中数据读取操作远多于写操作，而rwlock机制在smp环境下随着处理机增多性能会迅速下降（见参考资料4）。针对这一应用背景，IBM Linux技术中心的Paul E. McKenney提出了"读拷贝更新"的技术，并将其应用于Linux内核中。RCU技术的核心是写操作分为写-更新两步，允许读操作在任何时候无阻访问，当系统有写操作时，更新动作一直延迟到对该数据的所有读操作完成为止。Linux链表中的RCU功能只是Linux RCU的很小一部分，对于RCU的实现分析已超出了本文所及，有兴趣的读者可以自行参阅本文的参考资料；而对RCU链表的使用和基本链表的使用方法基本相同。

五、 示例

附件中的程序除了能正向、反向输出文件以外，并无实际作用，仅用于演示Linux链表的使用。 

为了简便，例子采用的是用户态程序模板，如果需要运行，可采用如下命令编译：

gcc -D__KERNEL__ -I/usr/src/linux-2.6.7/include pfile.c -o pfile

因为内核链表限制在内核态使用，但实际上对于数据结构本身而言并非只能在核态运行，因此，在笔者的编译中使用"-D__KERNEL__"开关"欺骗"编译器。

附件：

/*********************************************************************
 *                
 * Filename:      pfile.c
 * Version:       1.0
 * Description:   Demo for Linux LIST utility
 * Compilation:   gcc –D__KERNEL__ -I/usr/src/linux/include pfile.c
 * Status:        Stable
 * Author:        Yang Shazhou<pubb@163.net>
 * Created at:    Thu Jul 15 13:50:33 2004
 * Modified at:   Thu Jul 15 14:39:03 2004
 * Modified by:   Yang Shazhou<pubb@163.net>
 * 
 *     Copyright (c) 2004 Yang Shazhou, All Rights Reserved.
 *     
 *     This program is free software; you can redistribute it and/or 
 *     modify it under the terms of the GNU General Public License as 
 *     published by the Free Software Foundation; either version 2 of 
 *     the License, or (at your option) any later version.
 * 
 *     This program is distributed in the hope that it will be useful,
 *     but WITHOUT ANY WARRANTY; without even the implied warranty of
 *     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
 *     GNU General Public License for more details.
 * 
 *     You should have received a copy of the GNU General Public License 
 *     along with this program; if not, write to the Free Software 
 *     Foundation, Inc., 59 Temple Place, Suite 330, Boston, 
 *     MA 02111-1307 USA
 *     
 ********************************************************************/
#include <linux/list.h>
#include <stdio.h>
#include <strings.h>

int main(int argc,char *argv[])
{
 LIST_HEAD(list);  //定义存放文件内容的链表
 FILE *fp;

 struct file_store {
  char c;
  struct list_head node;
 } *pstore;

 if(argc<2){
  printf("usage: pfile <filename> <[r]>\n");
  return -1;
 }
 if(!(fp=fopen(argv[1],"rb"))){
  printf("fopen(%s) error\n",argv[1]);
         return -1;
 }

 /* 读文件到链表 */
 while(1){
  if(!(pstore=(struct file_store *)malloc(sizeof(struct file_store))))
   break;
  pstore->c=fgetc(fp);
  if(feof(fp)){
   free(pstore);
   break;
  }
  list_add_tail(&pstore->node,&list);   //将本字符插入链表中
 }
 fclose(fp);

 /* 遍历链表，输出链表中的节点个数，即文件字符数 */
 int count=0;
 struct list_head *p;
 list_for_each(p,&list){
  count++;
 }
 printf("%s has altogether %d character(s)\n",argv[1],count);

 /* 根据命令行参数正向/反向遍历链表，输出链表中存放的字符，同时释放各节点 */
 if(argc>2 && !strcasecmp(argv[2],"r")){
  struct list_head *p;
  list_for_each_entry_reverse(pstore,&list,node){  //反向遍历，没有保护
   p=pstore->node.next;
   list_del(&pstore->node);
   putchar(pstore->c);
   free(pstore);
   /* 如果没有这一句，将报segmentation fault */
    pstore=list_entry(p,struct file_store,node); //取数据项
  }
 }else{
  struct file_store *p;
  list_for_each_entry_safe(pstore,p,&list,node){  //正向遍历，有保护
   list_del(&pstore->node);
   putchar(pstore->c);
   free(pstore);
  }
 }

 return 0;
}