LDD3源码分析之并发与竞态

作者：刘昊昱 

博客：http://blog.csdn.net/liuhaoyutz

编译环境：Ubuntu 10.10

内核版本：2.6.32-38-generic-pae

LDD3源码路径：examples/scull/main.c  examples/misc-modules/complete.c

 

本文分析LDD3第五章并发与竞态相关代码，本章代码涉及两个内容，一个是信号量，另一个是completion。

 

一、scull中信号量的使用

在scull_write函数中有如下代码片断：

364    if (!dptr->data[s_pos]) {
365        dptr->data[s_pos] = kmalloc(quantum, GFP_KERNEL);
366        if (!dptr->data[s_pos])
367            goto out;
368    }

假设有两个进程A和B同时在尝试向同一个scull设备的相同偏移量写入数据，而且在同一时刻达到364行的if判断。如果dptr->data[s_pos]的值为NULL，两个进程都决定分配内存，则A、B进程都会把kmalloc的返回值赋值给dptr->data[s_pos]。显然，后赋值的那个进程会覆盖先赋值的进程的所赋的值。并且造成先赋值进程所分配的内存无法再找回来。

上述情况就是一种竞态。为了避免竞态的发生，scull使用了信号量。

scull设备用scull_dev结构体表示，该结构体在scull.h中定义如下： 

87struct scull_dev {
88    struct scull_qset *data;      /* Pointer to first quantum set */
89    int quantum;              /* the current quantum size */
90    int qset;                  /* the current array size */
91    unsigned long size;         /* amount of data stored here */
92    unsigned int access_key;    /* used by sculluid and scullpriv */
93    struct semaphore sem;     /* mutual exclusion semaphore     */
94    struct cdev cdev;          /* Char device structure      */
95};

在scull_dev结构体中，93行定义的sem成员，就是信号量，因为每个scull_dev结构体代表一个scull设备，所以每个scull设备都有一个专用的信号量。

如果要对使用的scull设备使用一个全局的信号量也是可以的，但是，不同的scull设备并不共享资源，没有理由让一个进程在其他进程访问不同的scull设备时等待。为每个scull设备提供专用的信号量，允许不同设备上的操作可以并行处理，从而提高性能。

信号量在使用之前必须先初始化，scull在模块初始化函数scull_init_module中执行下面的循环完成对所有scull设备专用信号量的初始化：

648    /* Initialize each device. */
649    for (i = 0; i < scull_nr_devs; i++) {
650        scull_devices[i].quantum = scull_quantum;
651        scull_devices[i].qset = scull_qset;
652        init_MUTEX(&scull_devices[i].sem);
653        scull_setup_cdev(&scull_devices[i], i);
654    }

这个for循环每循环一次，完成对一个scull设备的初始化，其中652行，调用init_MUTEX每个设备专用的信号量(互斥体)进行初始化。要注意，信号量必须在设备被注册到系统中之前完成初始化，否则会出现竞态。scull设备的注册是在653行的scull_setup_cdev函数中完成的，所以在这个函数调用之前，我们完成了对信号量的初始化。

在使用信号量之前，首先要明确什么是需要用信号量保护的资源，然后，我们才能用信号量保证对这些资源的互斥访问。对于scull设备来说，所有的信息都保存在scull_dev结构体中，因此，scull_dev就是我们要保护的资源。

在main.c文件在有很多地方使用了信号量来保证对scull_dev的互斥访问。或者说，凡是要改变scull_dev结构休内容的地方，都必须加锁，防止竞态。

例如，在scull_write函数中，有如下语句：

346    if (down_interruptible(&dev->sem))
347        return -ERESTARTSYS;

346行，调用down_interruptible(&dev->sem)进行加锁，注意，要对down_interruptible的返回值进行检查，如果返回0，说明说明加锁成功了，可以开始操作受保护的资源scull_dev，反之，如果down_interruptible返回非0值，说明是在等待过程中被中断了，这时要退出并返回-ERESTARTSYS，交给系统处理。

给信号量加锁后，不管scull_write能否完成其工作，都必须释放信号量，代码如下：

384  out:
385    up(&dev->sem);
386    return retval;

385行，释放信号量。

至此，信号量相关的代码就分析完了。

 

二、completion的使用

驱动开发中，有时我们需要在当前线程(A)之外创建另外一个线程(B)执行某个活动，然后线程(A)等待该活动结束，待活动结束后，线程(A)再继续向下执行。例如，这个活动可以是某种硬件操作。这种情况下，要实现新老线程的同步，可以使用completion接口。

注意，上面所说的情况，使用信号量也能实现同步，但信号量并不适合。因为在通常的使用中，如果试图锁定某个信号量，一般来说，都能加锁成功。如果存在对信号量的严重竞争，性能将受很大影响。这时，我们就需要检查一下我们的加锁操作设计是不是有问题了。信号量对“可用”情况已经做了大量优化。对于上面所说的情况，如果用信号量实现同步，则加锁的线程几乎总是要等待，造成系统性能下降。

completion是一种轻量级的机制，它允许一个线程告诉另外一个线程某个工作已经完成。

等待completion使用如下函数：

void wait_for_completion(struct completion *c);

相应的，completion事件可以通过如下函数触发：

void complete(struct completion *c);

void complete_all(struct completion *c);

如果有多个线程在等待同一个completion事件，complete函数只唤醒一个等待线程，而complete_all函数将唤醒所有等待线程。

LDD3提供了一个complete模块演示completion机制的用法.这个模块代码不多,下面列出其源码:

 1/*
 2 * complete.c -- the writers awake the readers
 3 *
 4 * Copyright (C) 2003 Alessandro Rubini and Jonathan Corbet
 5 * Copyright (C) 2003 O'Reilly & Associates
 6 *
 7 * The source code in this file can be freely used, adapted,
 8 * and redistributed in source or binary form, so long as an
 9 * acknowledgment appears in derived source files.  The citation
10 * should list that the code comes from the book "Linux Device
11 * Drivers" by Alessandro Rubini and Jonathan Corbet, published
12 * by O'Reilly & Associates.   No warranty is attached;
13 * we cannot take responsibility for errors or fitness for use.
14 *
15 * $Id: complete.c,v 1.2 2004/09/26 07:02:43 gregkh Exp $
16 */
17
18#include <linux/module.h>
19#include <linux/init.h>
20
21#include <linux/sched.h>  /* current and everything */
22#include <linux/kernel.h> /* printk() */
23#include <linux/fs.h>     /* everything... */
24#include <linux/types.h>  /* size_t */
25#include <linux/completion.h>
26
27MODULE_LICENSE("Dual BSD/GPL");
28
29static int complete_major = 0;
30
31DECLARE_COMPLETION(comp);
32
33ssize_t complete_read (struct file *filp, char __user *buf, size_t count, loff_t *pos)
34{
35    printk(KERN_DEBUG "process %i (%s) going to sleep\n",
36            current->pid, current->comm);
37    wait_for_completion(&comp);
38    printk(KERN_DEBUG "awoken %i (%s)\n", current->pid, current->comm);
39    return 0; /* EOF */
40}
41
42ssize_t complete_write (struct file *filp, const char __user *buf, size_t count,
43        loff_t *pos)
44{
45    printk(KERN_DEBUG "process %i (%s) awakening the readers...\n",
46            current->pid, current->comm);
47    complete(&comp);
48    return count; /* succeed, to avoid retrial */
49}
50
51
52struct file_operations complete_fops = {
53    .owner = THIS_MODULE,
54    .read =  complete_read,
55    .write = complete_write,
56};
57
58
59int complete_init(void)
60{
61    int result;
62
63    /*
64     * Register your major, and accept a dynamic number
65     */
66    result = register_chrdev(complete_major, "complete", &complete_fops);
67    if (result < 0)
68        return result;
69    if (complete_major == 0)
70        complete_major = result; /* dynamic */
71    return 0;
72}
73
74void complete_cleanup(void)
75{
76    unregister_chrdev(complete_major, "complete");
77}
78
79module_init(complete_init);
80module_exit(complete_cleanup);

79行，指定模块初始化函数为complete_init。

80行，指定模块清理函数是complete_cleanup。

我们先看模块初始化函数complete_init的实现：

66行，使用老的字符设备注册函数register_chrdev注册字符设备，因为在29行设置complete_major为0，所以是由系统动态分配主设备号；模块名称为”complete”；模块对应的文件操作函数集是complete_fops。

52 - 56行，定义了complete_fops，指定读写操作分别是complete_read和complete_write。

下面看complete_read的实现：

在打印即将进入睡眠的信息后，complete_read在37行调用wait_for_completion(&comp)，进入睡眠，即等待completion “comp”。”comp”是在31行用DECLARE_COMPLETION(comp)创建的。如果等待的completion发生了，complete_read函数将再次打印已被唤醒相关信息。

也就是说，任何进程读取模块设备文件，都会进入睡眠等待。

再来看complete_write的实现：

首先打印提示信息，然后在47行调用complete(&comp)触发completion事件，相应会唤醒一个在等待”comp”的进程。

可以有多个进程进行读操作，这些读进程都会进入睡眠等待，当有执行写操作的进程时，只有一个等待进程会被唤醒，但是哪个进程，不能确定。

为测试complete模块，我改写了LDD3提供的scull_load和scull_unload脚本，命名为complete_load和complete_unload。

complete_load脚本的内容如下所示：

#!/bin/sh
# $Id: complete_load,v 1.4 2004/11/03 06:19:49 rubini Exp $
module="complete"
device="complete"
mode="666"

# Group: since distributions do it differently, look for wheel or use staff
if grep -q '^staff:' /etc/group; then
    group="staff"
else
    group="wheel"
fi

# invoke insmod with all arguments we got
# and use a pathname, as insmod doesn't look in . by default
/sbin/insmod ./$module.ko $* || exit 1

# retrieve major number
major=$(awk "\$2==\"$module\" {print \$1}" /proc/devices)

# Remove stale nodes and replace them, then give gid and perms
# Usually the script is shorter, it's scull that has several devices in it.

rm -f /dev/${device}
mknod /dev/${device} c $major 0

chgrp $group /dev/${device} 
chmod $mode  /dev/${device}

complete_unload脚本的内容如下所示：

#!/bin/sh
module="complete"
device="complete"

# invoke rmmod with all arguments we got
/sbin/rmmod $module $* || exit 1

# Remove stale nodes

rm -f /dev/${device}  

complete模块的测试过程如下：