linux3.x 内核如何强制卸载模块？

一、问题现象：

在insmod时调用的init函数代码执行过程中出现oops，导致rmmod卸载失败，此时不得不重启目标板？

No！

下面是《精通linux设备驱动程序开发》中模拟鼠标的输入设备驱动的内核模块vms.c代码：
[html] view plaincopy在CODE上查看代码片派生到我的代码片

    #include <linux/fs.h>  
    #include <asm/uaccess.h>  
    #include <linux/input.h>  
    #include <linux/platform_device.h>  
    #include <linux/pci.h>  
    #include <linux/module.h>  
      
    static struct platform_device *vms_dev;  
    static struct input_dev *vms_input_dev;  
      
    static ssize_t write_vms(struct device *dev, struct device_attribute *attr, const char *buffer, size_t count)  
    {  
        int x, y;  
      
        sscanf(buffer, "%d%d", &x, &y);  
        printk("(x,y)=(%d,%d)\n", x, y);  
          
        input_report_rel(vms_input_dev, REL_X, x);  
        input_report_rel(vms_input_dev, REL_Y, y);  
        input_sync(vms_input_dev);  
          
        return count;  
    }  
      
    DEVICE_ATTR(coordinates, 0644, NULL, write_vms);  
      
    static struct attribute *vms_attrs[] = {  
        &dev_attr_coordinates.attr,  
        NULL  
    };  
      
    static struct attribute_group vms_attr_group = {  
        .attrs = vms_attrs,  
    };  
      
    static int __init vms_init(void)  
    {  
        int err;  
      
        printk("vms_init===========\n");  
      
        vms_dev = platform_device_register_simple("vms", -1, NULL, 0);   
        if (IS_ERR(vms_dev)) {  
            printk("############################platform_device_register_simple failed\n");  
            return PTR_ERR(vms_dev);  
        }  
          
        printk("vms_dev = 0x%x\n", vms_dev);  
          
        err = sysfs_create_group(&vms_dev->dev.kobj, &vms_attr_group);  
        if (err) {  
            printk("==============================sysfs_create_group failed\n");  
            return -1;  
        }  
      
        printk("vms_init++++++++++\n");  
      
        vms_input_dev = input_allocate_device();  
        if (!vms_input_dev) {  
            printk("Bad input_allocate_device()\n");      
            return -1;  
        }  
          
        //vms_input_dev->name = "Vms_device";  
        strcpy(vms_input_dev->name, "Vms test"); // oops!，程序退出  
      
        set_bit(EV_REL, vms_input_dev->evbit);  
        set_bit(REL_X, vms_input_dev->relbit);  
        set_bit(REL_Y, vms_input_dev->relbit);  
      
        input_register_device(vms_input_dev);   
          
        //strcpy(vms_input_dev->name, "Vms test");  
      
        printk("Virtual Mouse Driver Initialized.\n");  
        return 0;  
    }  
      
    static void __exit vms_cleanup(void)  
    {  
        input_unregister_device(vms_input_dev);   
        sysfs_remove_group(&vms_dev->dev.kobj, &vms_attr_group);  
        platform_device_unregister(vms_dev);  
      
        printk("Virtual Mouse Driver Exited.\n");  
        return;  
    }  
      
    module_init(vms_init);  
    module_exit(vms_cleanup);  
      
    MODULE_LICENSE("Dual BSD/GPL");  
    MODULE_AUTHOR("Xumin");  

insmod ./vms.ko后通过dmesg看到的信息：

然后sudo rmmod vms模块，会发现卸载不了：

我们知道，rmmod是调用sys_delete_module函数进行删除模块的，下面是其具体实现的的解析：

所以需要通过编写专门用于卸载vms内核模块的内核模块force_rmmod，下面是force_rmmod.c的源代码：
[html] view plaincopy在CODE上查看代码片派生到我的代码片

    #include <linux/module.h>  
    #include <linux/init.h>  
    #include <linux/kernel.h>  
    #include <linux/cpumask.h>  
    #include <linux/list.h>  
    #include <asm-generic/local.h>  
    #include <linux/platform_device.h>  
    #include <linux/kallsyms.h>  
      
    static void force(void)  
    {  
        int symbol_addr;  
      
        printk("XXXXXX, force!\n");  
        symbol_addr = kallsyms_lookup_name("vms_dev");  
          
        platform_device_unregister((struct platform_device*)(*(int*)symbol_addr));  
          
    }  
      
    static int __init force_rmmod_init(void)  
    {  
        struct module *mod, *relate;  
        int cpu;  
      
        int symbol_addr;  
        symbol_addr = kallsyms_lookup_name("vms_dev");  
        printk("YYYYY, symbol_addr:0x%x\n", symbol_addr);  
      
        printk("[module init] name:%s, state:%d\n", THIS_MODULE->name, THIS_MODULE->state);  
      
        list_for_each_entry(mod, THIS_MODULE->list.prev, list)     
        {  
            if (strcmp(mod->name, "vms") == 0) {  
                printk("[vms]:name:%s, state:%d, refcnt:%u\n",  
                        mod->name ,mod->state, module_refcount(mod));  
      
                if (!list_empty(&mod->source_list)) {  
                    list_for_each_entry(relate, &mod->source_list, source_list)    
                        printk("[relate]:%s\n", relate->name);  
                } else {  
                    printk("used by NULL...\n");  
                }  
      
                mod->state = 0;  
                mod->exit = force;  
      
                for_each_possible_cpu(cpu)  
                    local_set((local_t*)per_cpu_ptr(mod->refptr, cpu), 0);  
                    //local_set(__module_ref_addr(mod, cpu), 0);  
                    //per_cpu_ptr(mod->refptr, cpu)->decs;  
                    //module_put(mod);  
                  
                printk("[after]:name:%s, state:%d, refcnt:%u\n",  
                        mod->name, mod->state, module_refcount(mod));   
                  
            }  
        }  
        return 0;  
    }  
      
      
    static void __exit force_rmmod_exit(void)  
    {  
        printk("[module exit] name:%s, state:%d\n", THIS_MODULE->name, THIS_MODULE->state);  
    }  
      
    module_init(force_rmmod_init);  
    module_exit(force_rmmod_exit);  
      
    MODULE_LICENSE("GPL");  

通过安装force_rmmod.ko后，会发现vms模块目前的引用计数为1，且状态处于1，通过上面对sys_delete_module函数的理解得知，删除一个模块，需要将模块状态置为0，且引用计数置为0。

下面是模块的基本知识：
[html] view plaincopy在CODE上查看代码片派生到我的代码片

    extern struct module __this_module;  
    #define THIS_MODULE (&__this_module);  
      
    enum module_state{   
        MODULE_STATE_LIVE; // 模块存活，0   
        MODULE_STATE_COMING; // 正在加载模块，1   
        MODULE_STATE_GOING; // 正在卸载模块，2  
    };   
      
    struct module {   
        enum module_state state; // 模块状态   
      
        /* Member of list of modules */   
        struct list_head list; // 内核模块链表   
      
        /* Unique handle for this module */   
        char name[MODULE_NAME_LEN]; //模块名称   
      
        ...  
      
    #ifdef CONFIG_MODULE_UNLOAD  
         /* What modules depend on me? */   
        struct list_head modules_which_use_me;  
      
         /* Who is waiting for us to be unloaded */   
        struct task_struct *waiter;  
      
         /* Destruction function. */   
        void (*exit) (void);  
      
    #ifdef CONFIG_SMP   
        char *refptr;  
    #else   
        local_t ref;  
    #endif  
    #endif   
      
        ...  
      
    };  
      
    static inline local_t *__module_ref_addr(struct module *mod, int cpu)  
    {#ifdef CONFIG_SMP  
         return (local_t *) (mod->refptr + per_cpu_offset(cpu));  
    #else  
         return &mod->ref;  
    #endif  
    }  

  但若仅将设置模块的引用计数和状态为0，还是会出现sys_delete_module因调用模块exit的函数（即vms_cleanup函数）而出现宕机的问题（因为程序出现oops，导致input_register_device(vms_input_dev); 根本没有执行，而该exit函数却调用了input_unregister_device(vms_input_dev); ，从而导致宕机）。为了解决这个问题，需要把exit换成一个能成功执行的函数。但问题依然没能完全解决，虽然此时可以rmmod vms成功，执行lsmod也查知vms在模块链表中已经删除，但vms模块因为在oops之前已经执行过 vms_dev = platform_device_register_simple("vms", -1, NULL, 0); 仍然会导致后续再执行insmod ./vms.ko时失败，因为该注册函数对应的注销函数没有被调用到。vms_dev是一个内核变量符号，通过sudo cat /proc/kallsyms | grep vms_dev 可以得知vms_dev的地址。（注意，在ubuntu下，必须使用root权限才能获取到符号地址！）然后在force_rmmod.c的exit函数中将这个vms_dev注销掉。但这种做很麻烦，每次都要手动去获取vms_dev的地址。其实内核可以通过kallsyms_lookup_name函数获取到vms_dev的地址，见force_rmmod的exit代码。

在执行insmod ./force_rmmod.ko之后，便可以随心所欲地安装和卸载vms.ko了。


三、问题解决思路

1、首先弄懂内核模块为啥无法删除？ rmmod是通过sys_delete_module来卸载模块的，删除内核模块的必要条件是该模块的引用计数为0，且状态为“MODULE_STATE_LIVE; // 模块存活，0”，然后才调用模块的exit函数。如果执行exit时失败，甚至系统宕机，我们需要分析模块的init函数，仔细分析其流程，设计我们自己的exit函数。

2、执行cat /proc/kallsyms | grep vms_dev，结果发现其符号地址为0。原来是ubuntu的安全机制处理的结果，需要root权限才能查看地址。其对应的内核中获取符号地址的方法是：kallsyms_lookup_name函数。

3、程序出现rmmod失败的原因一是卸载的模块被其他模块引用，或者模块的初始化代码出现Bug，虽没有其他模块引用，但其模块引用计数也是1。所以需要仔细排查模块初始化代码中是否有异常退出的情况发生。

四、force_rmmod.c对应的Makefile（vms.c对应的Makefile类似）
[html] view plaincopy在CODE上查看代码片派生到我的代码片

    KVERS = $(shell uname -r)  
    obj-m := force_rmmod.o    
    all: kernel_modules  
      
    kernel_modules:  
        make -C /lib/modules/$(KVERS)/build M=$(shell pwd) modules  
    clean:  
        make -C /lib/modules/$(KVERS)/build M=$(CURDIR) clean