Linux 3.2中回写机制的变革

原创作品，允许转载，转载时请务必以超链接形式标明文章  原始出处 、作者信息和本声明。否则将追究法律责任。 http://alanwu.blog.51cto.com/3652632/1109952

 

writeback机制模型

 

在Linux-3.2新内核中，page cache和buffer cache的刷新机制发生了改变。放弃了原有的pdflush机制，改成了bdi_writeback机制。这种变化主要解决原有pdflush机制存在的一个问题：在多磁盘的系统中，pdflush管理了所有磁盘的page/buffer cache，从而导致一定程度的IO性能瓶颈。bdi_writeback机制为每个磁盘都创建一个线程，专门负责这个磁盘的page cache或者buffer cache的数据刷新工作，从而实现了每个磁盘的数据刷新程序在线程级的分离，这种处理可以提高IO性能。

 

writeback机制的基本原理可以描述如下：

 

 

在Linux内核中有一个常驻内存的线程bdi_forker_thread，该线程负责为bdi_object创建writeback线程，同时检测如果writeback线程长时间处于空闲状态，bdi_forker_thread线程便会将其进行销毁。bdi_forker_thread在系统中只有一个，其会被定时唤醒，检查全局链表bdi_list队列中是否存在dirty的数据需要刷新到磁盘。如果存在dirty数据并且对应bdi的writeback线程还没有被创建，bdi_forker_thread会为该bdi创建一个writeback的线程进行写回操作。

 

writeback线程被创建之后会处理等待的work。writeback线程拥有一个定时器会周期性唤醒这个线程处理相应的work。当用户（page cache/buffer cache）有需要处理的inode时，将inode挂载到writeback-> b_dirty链表中，然后唤醒writeback线程去处理相应的dirty_page。inode链表就是writeback线程需要处理的数据；work链表就是控制处理过程中的一些策略，不同的策略可以定义成不同的任务。

 

通过上述模型，对于块设备或者文件系统而言，实现dirty page的后台刷新主要做如下几个方面的工作：

 

1，将自己的bdi注册到系统的bdi链表中，通过bdi_forker_thread实现对bdi对象的管理，从而可以实现writeback线程的动态创建、销毁。每个块设备和文件系统都有自己的bdi对象。Ext3文件系统在创建的时候会生成superblock对象，系统会将底层块设备的backing_device关系到这个superblock对象上（在set_bdev_super函数中完成）。如果是块设备的话，在add_disk的时候直接从request_queue中得到bdi对象，然后对其进行初始化。注册bdi对象使用bdi_register_dev函数，对于ext3之类的文件系统不需要重新注册bdi对象，因为其本身就采用了底层块设备的bdi对象。

 

2，将需要刷新的inode节点挂载到bdi对象所属的writeback->b_dirty上，如果有特殊的work需要writeback线程完成，那么提交一个work即可；如果是通常的周期性刷新，writeback线程会自动创建相应的work。

 

3，操作writeback的唤醒定时器延迟唤醒writeback线程，或者直接唤醒线程，从而使得inode中radix tree上的dirty page刷新到磁盘。

 

bdi对象的注册

 

每个块设备在创建的时候会注册bdi对象（参见add_disk函数），这是Linux-3.2内核不同的地方。文件系统在mount的时候会创建superblock对象，并且通过底层块设备的request queue获取bdi对象（mount_bdev->sget->set_bdev_super）。所以，像ext3之类的文件系统都不需要重新注册bdi对象。当然，如果文件系统重新创建了一个bdi对象，那么还需要调用bdi_register_dev函数注册bdi对象。

 

小结

 

本文对linux-3.2中的writeback机制模型进行了阐述，后面还会对writeback机制中的关键函数进行分析说明。该机制是对老系统（Linux-2.6.23等）中pdflush机制的替代，其最重要的变化是每个块设备都分配了writeback线程，使得回写的IO流在各个磁盘之间独立，从而从机制上提高了IO的吞吐量。

本文出自 “存储之道” 博客，请务必保留此出处http://alanwu.blog.51cto.com/3652632/1109952

初始化默认的后备存储器default_backing_dev_info

1. static int __init default_bdi_init(void)
   
2. {
   
3.     int err;
   
4. 
   
5.     /*创建同步每个后备存储器的超级块的线程*/
6.     sync_supers_tsk = kthread_run(bdi_sync_supers, NULL, "sync_supers");
   
7.     BUG_ON(IS_ERR(sync_supers_tsk));
   
8. 
   
9.   /*初始化一个定时器，该定时器控制同步超级块的周期，每隔dirty_writeback_interval去唤醒一次sync_supers_tsk，从而同步超级块。
10.     dirty_writeback_interval可以通过修改/proc/sys/vm/下的dirty_writeback_centisecs来修改，默认值是500，单位是10ms
11.     定时器函数sync_supers_timer_fn用于唤醒同步超级块的线程sync_supers_tsk，并且更新定时器的到期时间，具体实现如下*/
12.     setup_timer(&sync_supers_timer, sync_supers_timer_fn, 0);
    
13.     /*用于更新定时器的到期时间，详见下面代码。*/
14.     bdi_arm_supers_timer();
    
15. 
    
16.     /*初始化default_backing_dev_info的成员变量，初始化相关的链表，相关的变量赋初值等操作，请读者自行阅读。*/
17.     err = bdi_init(&default_backing_dev_info);
    
18.     if (!err)
    
19.       /*调用bdi_register注册默认的后备存储器default_backing_dev_info到bdi_list链表，并创建默认的backing_dev_info管理线程，
20.         用于管理其他的后备存储器的数据同步线程的创建和销毁，所有的后备存储器在初始化时都会调用bdi_register注册到bdi_list链表中。
21.         bdi_register详见下文分析。*/
22.         bdi_register(&default_backing_dev_info, NULL, "default");
    
23. 
    
24.     /*初始化空的后备存储器，可以忽略。*/
25.     err = bdi_init(&noop_backing_dev_info);
    
26. 
    
27.     return err;
    
28. }

sync_supers_timer_fn函数唤醒超级块数据同步线程，然后重设定时器。

1. static void sync_supers_timer_fn(unsigned long unused)
   
2. {
   
3.     wake_up_process(sync_supers_tsk);
   
4.     bdi_arm_supers_timer();
   
5. }

bdi_arm_supers_timer函数重设定时器

1. void bdi_arm_supers_timer(void)
   
2. {
   
3.     unsigned long next;
   
4. 
   
5.     if (!dirty_writeback_interval)
   
6.         return;
   
7. 
   
8.     next = msecs_to_jiffies(dirty_writeback_interval * 10) + jiffies;
   
9.     mod_timer(&sync_supers_timer, round_jiffies_up(next));
   
10. }

三、bdi_register()函数分析
bdi_register函数用于注册后备存储器到全局链表bdi_list上，并且判断如果是默认的后备存储器default_backing_dev_info则创建bdi-default线程，用于管理创建或销毁所有后备存储器相关的同步回写线程。

1. int bdi_register(struct backing_dev_info *bdi, struct device *parent,
   
2.         const char *fmt, ...)
   
3. {
   
4.     va_list args;
   
5.     struct device *dev;
   
6. 
   
7.     if (bdi->dev)    /* The driver needs to use separate queues per device */
   
8.         return 0;
   
9. 
   
10.     va_start(args, fmt);
    
11.     dev = device_create_vargs(bdi_class, parent, MKDEV(0, 0), bdi, fmt, args);
    
12.     va_end(args);
    
13.     if (IS_ERR(dev))
    
14.         return PTR_ERR(dev);
    
15. 
    
16.     bdi->dev = dev;
    
17. 
    
18.     /*
    
19.      * Just start the forker thread for our default backing_dev_info,
    
20.      * and add other bdi's to the list. They will get a thread created
    
21.      * on-demand when they need it.
    
22.      */
    
23.     if (bdi_cap_flush_forker(bdi)) {
    
24.         struct bdi_writeback *wb = &bdi->wb;
    
25. 
    
26.         wb->task = kthread_run(bdi_forker_thread, wb, "bdi-%s",
    
27.                         dev_name(dev));
    
28.         if (IS_ERR(wb->task))
    
29.             return PTR_ERR(wb->task);
    
30.     }
    
31. 
    
32.     bdi_debug_register(bdi, dev_name(dev));
    
33.     set_bit(BDI_registered, &bdi->state);
    
34. 
    
35.     spin_lock_bh(&bdi_lock);
    
36.     list_add_tail_rcu(&bdi->bdi_list, &bdi_list);
    
37.     spin_unlock_bh(&bdi_lock);
    
38. 
    
39.     trace_writeback_bdi_register(bdi);
    
40.     return 0;
    
41. }