块设备是与字符设备并列的概念，这两类设备在Linux中驱动的结构有较大差异，总体而言，块设备驱动比字符设备驱动要复杂得多，在I/O操作上表现出极大的不同，缓冲、I/O调度、请求队列等都是与块设备驱动相关的概念。
本章将向您展示Linux块设备驱动的编程方法。
13.1节分析块设备I/O操作的特点，对比字符设备与块设备在I/O操作上的差异。
13.2节从整体上描述Linux块设备驱动的结构，分析主要的数据结构、函数及其关系。
13.3～13.5节分别阐述块设备驱动模块加载与卸载、打开与释放和ioctl()函数。
13.6节非常重要，它讲述了块设备I/O操作所依赖的请求队列的概念及用法。
13.2节与13.3～13.6节是整体与部分的关系，13.2～13.6节与13.7节是迭代递进关系。
13.7节在13.1～13.6节讲解内容的基础上，总结Linux下块设备的读写流程。而13.7节则给出了块设备驱动的具体实例，即RAMDISK的驱动。
块设备的I/O操作特点
字符设备与块设备I/O操作的不同在于：
① 块设备只能以块为单位接受输入和返回输出，而字符设备则以字节为单位。大多数设备是字符设备，因为它们不需要缓冲而且不以固定块大小进行操作。
② 块设备对于I/O请求有对应的缓冲区，因此它们可以选择以什么顺序进行响应，字符设备无需缓冲且被直接读写。对于存储设备而言调整读写的顺序作用巨大，因为在读写连续的扇区比分离的扇区更快。
③ 字符设备只能被顺序读写，而块设备可以随机访问。虽然块设备可随机访问，但是对于磁盘这类机械设备而言，顺序地组织块设备的访问可以提高性能。注意，对SD卡、RAMDISK等块设备而言，不存在机械上的原因，进行这样的调整没有必要。
Linux块设备驱动结构
一、block_device_operations结构体
在块设备驱动中，有1个类似于字符设备驱动中file_operations结构体的block_device_operations结构体(文件 include/linux/blkdev.h中)，它是对块设备操作的集合，定义如下
struct block_device_operations
{
int (*open) (struct block_device *, fmode_t); //打开
int (*release) (struct gendisk *, fmode_t); //释放
int (*ioctl) (struct block_device *, fmode_t, unsigned, unsigned long); //ioctl
int (*compat_ioctl) (struct block_device *, fmode_t, unsigned, unsigned long);
int (*direct_access) (struct block_device *, sector_t, void **, unsigned long *);
unsigned int (*check_events) (struct gendisk *disk, unsigned int clearing);
/* ->media_changed() is DEPRECATED, use ->check_events() instead */
int (*media_changed) (struct gendisk *); //检查介质是否改变
void (*unlock_native_capacity) (struct gendisk *);
int (*revalidate_disk) (struct gendisk *); //使介质有效
int (*getgeo)(struct block_device *, struct hd_geometry *); //获得驱动器信息
/* this callback is with swap_lock and sometimes page table lock held */
void (*swap_slot_free_notify) (struct block_device *, unsigned long);
struct module *owner;
};
下面对其主要的成员函数进行分析：
1、打开和释放
int (*open) (struct block_device *, fmode_t);
int (*release) (struct gendisk *, fmode_t);
与字符设备驱动类似，当设备被打开和关闭时将调用它们。
2、IO控制
int (*ioctl) (struct block_device *, fmode_t, unsigned, unsigned long);
上述函数是ioctl() 系统调用的实现，块设备包含大量的标准请求，这些标准请求由Linux块设备层处理，因此大部分块设备驱动的ioctl()函数相当短。
3、介质改变
int (*media_changed) (struct gendisk *gd);
被内核调用来检查是否驱动器中的介质已经改变，如果是，则返回一个非零值，否则返回0。这个函数仅适用于支持可移动介质的驱动器（非可移动设备的驱动不需要实现这个方法），通常需要在驱动中增加1个表示介质状态是否改变的标志变量。
4、使介质有效
int (*revalidate_disk) (struct gendisk *gd);
revalidate_disk()函数被调用来响应一个介质改变，它给驱动一个机会来进行必要的工作以使新介质准备好。
5、获得驱动器信息
int (*getgeo)(struct block_device *, struct hd_geometry *);
该函数根据驱动器的几何信息填充一个hd_geometry结构体，hd_geometry结构体包含磁头、扇区、柱面等信息。
6、模块指针
struct module *owner;
一个指向拥有这个结构体的模块的指针，它通常被初始化为THIS_MODULE。
二、gendisk结构体
在Linux内核中，使用gendisk（通用磁盘）结构体来表示1个独立的磁盘设备（或分区），这个结构体的定义如下
struct gendisk
{
int major; /* 主设备号 */
int first_minor; /*第1个次设备号*/
int minors; /* 最大的次设备数，如果不能分区，则为1*/
char disk_name[32]; /* 设备名称 */
struct hd_struct **part; /* 磁盘上的分区信息 */
struct block_device_operations *fops; /*块设备操作结构体*/
struct request_queue *queue; /*请求队列*/
void *private_data; /*私有数据*/
sector_t capacity; /*扇区数，512字节为1个扇区*/
int flags;
char devfs_name[64];
int number;
struct device *driverfs_dev;
struct kobject kobj;
struct timer_rand_state *random;
int policy;
atomic_t sync_io; /* RAID */
unsigned long stamp;
int in_flight;
#ifdef CONFIG_SMP
struct disk_stats *dkstats;
#else
struct disk_stats dkstats;
#endif
};
major、first_minor和minors共同表征了磁盘的主、次设备号，同一个磁盘的各个分区共享1个主设备号，而次设备号则不同。fops为block_device_operations，即上节描述的块设备操作集合。queue是内核用来管理这个设备的 I/O请求队列的指针。capacity表明设备的容量，以512个字节为单位。private_data可用于指向磁盘的任何私有数据，用法与字符设备驱动file结构体的private_data类似。
Linux内核提供了一组函数来操作gendisk，主要包括：
• 分配gendisk
gendisk结构体是一个动态分配的结构体，它需要特别的内核操作来初始化，驱动不能自己分配这个结构体，而应该使用下列函数来分配gendisk：
struct gendisk *alloc_disk(int minors);
minors 参数是这个磁盘使用的次设备号的数量，一般也就是磁盘分区的数量，此后minors不能被修改。
• 增加gendisk
gendisk结构体被分配之后，系统还不能使用这个磁盘，需要调用如下函数来注册这个磁盘设备：
void add_disk(struct gendisk *gd);
特别要注意的是对add_disk()的调用必须发生在驱动程序的初始化工作完成并能响应磁盘的请求之后。
• 释放gendisk
当不再需要一个磁盘时，应当使用如下函数释放gendisk：
void del_gendisk(struct gendisk *gd);
• gendisk引用计数
gendisk中包含1个kobject成员，因此，它是一个可被引用计数的结构体。通过get_disk()和put_disk()函数可用来操作引用计数，这个工作一般不需要驱动亲自做。通常对 del_gendisk()的调用会去掉gendisk的最终引用计数，但是这一点并不是一定的。因此，在del_gendisk()被调用后，这个结构体可能继续存在。
• 设置gendisk容量
void set_capacity(struct gendisk *disk, sector_t size);
块设备中最小的可寻址单元是扇区，扇区大小一般是2的整数倍，最常见的大小是512字节。扇区的大小是设备的物理属性，扇区是所有块设备的基本单元，块设备无法对比它还小的单元进行寻址和操作，不过许多块设备能够一次就传输多个扇区。虽然大多数块设备的扇区大小都是512字节，不过其它大小的扇区也很常见，比如，很多CD-ROM盘的扇区都是2K大小。
不管物理设备的真实扇区大小是多少，内核与块设备驱动交互的扇区都以512字节为单位。因此，set_capacity()函数也以512字节为单位。
三、request与bio结构体
1、请求
在Linux块设备驱动中，使用request结构体来表征等待进行的I/O请求，这个结构体的定义如下
struct request
{ struct list_head queuelist; /*链表结构*/
unsigned long flags; /* REQ_ */
sector_t sector; /* 要传送的下1个扇区 */
unsigned long nr_sectors; /*要传送的扇区数目*/
/*当前要传送的扇区数目*/
unsigned int current_nr_sectors;
sector_t hard_sector; /*要完成的下1个扇区*/
unsigned long hard_nr_sectors; /*要被完成的扇区数目*/
/*当前要被完成的扇区数目*/
unsigned int hard_cur_sectors;
struct bio *bio; /*请求的 bio 结构体的链表*/
struct bio *biotail; /*请求的 bio 结构体的链表尾*/
void *elevator_private;
unsigned short ioprio;
int rq_status;
struct gendisk *rq_disk;
int errors;
unsigned long start_time;
/*请求在物理内存中占据的不连续的段的数目，scatter/gather列表的尺寸*/
unsigned short nr_phys_segments;
/*与nr_phys_segments相同，但考虑了系统I/O MMU的remap */
unsigned short nr_hw_segments;
int tag;
char *buffer; /*传送的缓冲，内核虚拟地址*/
int ref_count; /* 引用计数 */
...
};
request结构体的主要成员包括：
sector_t hard_sector;
unsigned long hard_nr_sectors;
unsigned int hard_cur_sectors;
上述3个成员标识还未完成的扇区，hard_sector是第1个尚未传输的扇区，hard_nr_sectors是尚待完成的扇区数，hard_cur_sectors是并且当前I/O操作中待完成的扇区数。这些成员只用于内核块设备层，驱动不应当使用它们。
sector_t sector;
unsigned long nr_sectors;
unsigned int current_nr_sectors;
驱动中会经常与这3个成员打交道，这3个成员在内核和驱动交互中发挥着重大作用。它们以512字节大小为1个扇区，如果硬件的扇区大小不是512字节，则需要进行相应的调整。例如，如果硬件的扇区大小是2048字节，则在进行硬件操作之前，需要用4来除起始扇区号。
hard_sector、hard_nr_sectors、hard_cur_sectors与sector、nr_sectors、current_nr_sectors之间可认为是“副本”关系。
struct bio *bio;
bio是这个请求中包含的bio结构体的链表，驱动中不宜直接存取这个成员，而应该使用后文将介绍的 rq_for_each_bio()。
char *buffer;
指向缓冲区的指针，数据应当被传送到或者来自这个缓冲区，这个指针是一个内核虚拟地址，可被驱动直接引用。
unsigned short nr_phys_segments;
该值表示相邻的页被合并后，这个请求在物理内存中占据的段的数目。如果设备支持分散/聚集（SG，scatter/gather）操作，可依据此字段申请sizeof(scatterlist)* nr_phys_segments的内存，并使用下列函数进行DMA映射：
int blk_rq_map_sg(request_queue_t *q, struct request *req, struct scatterlist *sglist);
该函数与dma_map_sg()类似，它返回scatterlist列表入口的数量。
struct list_head queuelist;
用于链接这个请求到请求队列的链表结构，调用blkdev_dequeue_request()可从队列中移除请求。
使用如下宏可以从request获得数据传送的方向：
rq_data_dir(struct request *req);
0返回值表示从设备中读，非 0返回值表示向设备写。
2、请求队列
一个块请求队列是一个块 I/O 请求的队列，其定义如下
struct request_queue
{
...
/* 保护队列结构体的自旋锁 */
spinlock_t __queue_lock;
spinlock_t *queue_lock;
/* 队列kobject */
struct kobject kobj;
/* 队列设置 */
unsigned long nr_requests; /* 最大请求数量 */
unsigned int nr_congestion_on;
unsigned int nr_congestion_off;
unsigned int nr_batching;
unsigned short max_sectors; /* 最大的扇区数 */
unsigned short max_hw_sectors;
unsigned short max_phys_segments; /* 最大的段数 */
unsigned short max_hw_segments;
unsigned short hardsect_size; /* 硬件扇区尺寸 */
unsigned int max_segment_size; /* 最大的段尺寸 */
unsigned long seg_boundary_mask; /* 段边界掩码 */
unsigned int dma_alignment; /* DMA 传送的内存对齐限制 */
struct blk_queue_tag *queue_tags;
atomic_t refcnt; /* 引用计数 */
unsigned int in_flight;
unsigned int sg_timeout;
unsigned int sg_reserved_size;
int node;
struct list_head drain_list;
struct request *flush_rq;
unsigned char ordered;
}; 请求队列跟踪等候的块I/O请求，它存储用于描述这个设备能够支持的请求的类型信息、它们的最大大小、多少不同的段可进入一个请求、硬件扇区大小、对齐要求等参数，其结果是：如果请求队列被配置正确了，它不会交给该设备一个不能处理的请求。
请求队列还实现一个插入接口，这个接口允许使用多个I/O调度器，I/O调度器（也称电梯）的工作是以最优性能的方式向驱动提交I/O请求。大部分I/O 调度器累积批量的 I/O 请求，并将它们排列为递增（或递减）的块索引顺序后提交给驱动。进行这些工作的原因在于，对于磁头而言，当给定顺序排列的请求时，可以使得磁盘顺序地从一头到另一头工作，非常像一个满载的电梯，在一个方向移动直到所有它的“请求”已被满足。
另外，I/O调度器还负责合并邻近的请求，当一个新 I/O 请求被提交给调度器后，它会在队列里搜寻包含邻近扇区的请求；如果找到一个，并且如果结果的请求不是太大，调度器将合并这2个请求。
对磁盘等块设备进行I/O操作顺序的调度类似于电梯的原理，先服务完上楼的乘客，再服务下楼的乘客效率会更高，而“上蹿下跳”，顺序响应用户的请求则会导致电梯无序地忙乱。
Linux 2.6包含4个I/O调度器，它们分别是No-op I/O scheduler、Anticipatory I/O scheduler、Deadline I/O scheduler与CFQ I/O scheduler。
Noop I/O scheduler是一个简化的调度程序，它只作最基本的合并与排序。
Anticipatory I/O scheduler是当前内核中默认的I/O调度器，它拥有非常好的性能，在2.5中它就相当引人注意。在与2.4内核进行的对比测试中，在2.4中多项以分钟为单位完成的任务，它则是以秒为单位来完成的，正因为如此它成为目前2.6中默认的I/O调度器。Anticipatory I/O scheduler的缺点是比较庞大与复杂，在一些特殊的情况下，特别是在数据吞吐量非常大的数据库系统中它会变得比较缓慢。
Deadline I/O scheduler是针对Anticipatory I/O scheduler的缺点进行改善而来的，表现出的性能几乎与Anticipatory I/O scheduler一样好，但是比Anticipatory小巧。
CFQ I/O scheduler为系统内的所有任务分配相同的带宽，提供一个公平的工作环境，它比较适合桌面环境。事实上在测试中它也有不错的表现，mplayer、xmms等多媒体播放器与它配合的相当好，回放平滑，几乎没有因访问磁盘而出现的跳帧现象。
内核block目录中的noop-iosched.c、as-iosched.c、deadline-iosched.c和cfq-iosched.c文件分别实现了上述调度算法。
可以通过给kernel添加启动参数，选择使用的IO调度算法，如：
kernel elevator=deadline
• 初始化请求队列
request_queue_t *blk_init_queue(request_fn_proc *rfn, spinlock_t *lock);
该函数的第1个参数是请求处理函数的指针，第2个参数是控制访问队列权限的自旋锁，这个函数会发生内存分配的行为，故它可能会失败，因此一定要检查它的返回值。这个函数一般在块设备驱动的模块加载函数中调用。
• 清除请求队列
void blk_cleanup_queue(request_queue_t * q);
这个函数完成将请求队列返回给系统的任务，一般在块设备驱动模块卸载函数中调用。
而blk_put_queue()宏则定义为：
#define blk_put_queue(q) blk_cleanup_queue((q))
• 分配“请求队列”
request_queue_t *blk_alloc_queue(int gfp_mask);
对于FLASH、RAM盘等完全随机访问的非机械设备，并不需要进行复杂的I/O调度，这个时候，应该使用上述函数分配1个“请求队列”，并使用如下函数来绑定“请求队列”和“制造请求”函数。
void blk_queue_make_request(request_queue_t * q, make_request_fn * mfn);
在13.6.2节我们会看到，这种方式分配的“请求队列”实际上不包含任何请求，所以给其加上引号。
• 提取请求
struct request *elv_next_request(request_queue_t *queue);
上述函数用于返回下一个要处理的请求（由 I/O 调度器决定），如果没有请求则返回NULL。elv_next_request()不会清除请求，它仍然将这个请求保留在队列上，但是标识它为活动的，这个标识将阻止I/O 调度器合并其它的请求到已开始执行的请求。因为elv_next_request()不从队列里清除请求，因此连续调用它2次，2次会返回同一个请求结构体。
• 去除请求
void blkdev_dequeue_request(struct request *req);
上述函数从队列中去除1个请求。如果驱动中同时从同一个队列中操作了多个请求，它必须以这样的方式将它们 从队列中去除。
如果需要将1个已经出列的请求归还到队列中，可以调用：
void elv_requeue_request(request_queue_t *queue, struct request *req);
另外，块设备层还提供了一套函数，这些函数可被驱动用来控制一个请求队列的操作，主要包括：
• 启停请求队列
void blk_stop_queue(request_queue_t *queue);
void blk_start_queue(request_queue_t *queue);
如果块设备到达不能处理等候的命令的状态，应调用blk_stop_queue()来告知块设备层。之后，请求函数将不被调用，除非再次调用blk_start_queue()将设备恢复到可处理请求的状态。
• 参数设置
void blk_queue_max_sectors(request_queue_t *queue, unsigned short max);
void blk_queue_max_phys_segments(request_queue_t *queue, unsigned short max);
void blk_queue_max_hw_segments(request_queue_t *queue, unsigned short max);
void blk_queue_max_segment_size(request_queue_t *queue, unsigned int max);
这些函数用于设置描述块设备可处理的请求的参数。blk_queue_max_sectors()描述任一请求可包含的最大扇区数，缺省值为255；blk_queue_max_phys_segments()和 blk_queue_max_hw_segments()都控制1个请求中可包含的最大物理段（系统内存中不相邻的区），blk_queue_max_hw_segments()考虑了系统I/O内存管理单元的重映射，这2个参数缺省都是 128。blk_queue_max_segment_size告知内核请求段的最大字节数，缺省值为65,536。
• 通告内核
void blk_queue_bounce_limit(request_queue_t *queue, u64 dma_addr);
该函数用于告知内核块设备执行DMA时可使用的最高物理地址dma_addr，如果一个请求包含超出这个限制的内存引用，一个“反弹”缓冲区将被用来给这个操作。这种方式的代价昂贵，因此应尽量避免使用。
可以给dma_addr参数提供任何可能的值或使用预先定义的宏，如BLK_BOUNCE_HIGH（对高端内存页使用反弹缓冲区）、BLK_BOUNCE_ISA（驱动只可在16M的ISA区执行DMA）或者BLK_BOUCE_ANY（驱动可在任何地址执行DMA），缺省值是BLK_BOUNCE_HIGH。
blk_queue_segment_boundary(request_queue_t *queue, unsigned long mask);
如果我们正在驱动编写的设备无法处理跨越一个特殊大小内存边界的请求，应该使用这个函数来告知内核这个边界。例如，如果设备处理跨4MB 边界的请求有困难，应该传递一个0x3fffff 掩码。缺省的掩码是0xffffffff（对应4GB边界）。
void blk_queue_dma_alignment(request_queue_t *queue, int mask);
该函数用于告知内核块设备施加于DMA 传送的内存对齐限制，所有请求都匹配这个对齐，缺省的屏蔽是 0x1ff，它导致所有的请求被对齐到 512字节边界。
void blk_queue_hardsect_size(request_queue_t *queue, unsigned short max);
该函数用于告知内核块设备硬件扇区的大小，所有由内核产生的请求都是这个大小的倍数并且被正确对界。但是，内核块设备层和驱动之间的通信还是以512字节扇区为单位进行。
3、块I/O
通常1个bio对应1个I/O请求，代码清单13.5给出了bio结构体的定义。IO调度算法可将连续的bio合并成1个请求。所以，1个请求可以包含多个bio。
代码清单13.5 bio结构体
struct bio
{
sector_t bi_sector; /* 要传输的第1个扇区 */
struct bio *bi_next; /* 下一个bio */
struct block_device *bi_bdev;
unsigned long bi_flags; /* 状态，命令等 */
unsigned long bi_rw; /* 低位表示READ/WRITE，高位表示优先级*/
unsigned short bi_vcnt; /* bio_vec数量 */
unsigned short bi_idx; /* 当前bvl_vec索引 */
/*不相邻的物理段的数目*/
unsigned short bi_phys_segments;
/*物理合并和DMA remap合并后不相邻的物理段的数目*/
unsigned short bi_hw_segments;
unsigned int bi_size; /* 以字节为单位所需传输的数据大小 */
/* 为了明了最大的hw尺寸，我们考虑这个bio中第1个和最后1个虚拟的可合并的段的尺寸 */
unsigned int bi_hw_front_size;
unsigned int bi_hw_back_size;
unsigned int bi_max_vecs; /* 我们能持有的最大bvl_vecs数 */
struct bio_vec *bi_io_vec; /* 实际的vec列表 */
bio_end_io_t *bi_end_io;
atomic_t bi_cnt;
void *bi_private;
bio_destructor_t *bi_destructor; /* destructor */
};
下面我们对其中的核心成员进行分析：
sector_t bi_sector;
标示这个 bio 要传送的第一个（512字节）扇区。
unsigned int bi_size;
被传送的数据大小，以字节为单位，驱动中可以使用bio_sectors(bio)宏获得以扇区为单位的大小。
unsigned long bi_flags;
一组描述 bio 的标志，如果这是一个写请求，最低有效位被置位，可以使用bio_data_dir(bio)宏来获得读写方向。
unsigned short bio_phys_segments;
unsigned short bio_hw_segments;
分别表示包含在这个 BIO 中要处理的不连续的物理内存段的数目和考虑DMA重映像后的不连续的内存段的数目。
bio的核心是一个称为 bi_io_vec的数组，它由bio_vec结构体组成，bio_vec结构体的定义如代码清单13.6。
struct bio_vec
{
struct page *bv_page; /* 页指针 */
unsigned int bv_len; /* 传输的字节数 */
unsigned int bv_offset; /* 偏移位置 */
};
我们不应该直接访问bio的bio_vec成员，而应该使用bio_for_each_segment()宏来进行这项工作，可以用这个宏循环遍历整个bio中的每个段，这个宏的定义如代码清单13.7。
代码清单13.7 bio_for_each_segment宏
#define __bio_for_each_segment(bvl, bio, i, start_idx) /
for (bvl = bio_iovec_idx((bio), (start_idx)), i = (start_idx); /
i < (bio)->bi_vcnt; /
bvl++, i++)
#define bio_for_each_segment(bvl, bio, i) /
__bio_for_each_segment(bvl, bio, i, (bio)->bi_idx
图13.2(a)描述了request队列、request与bio数据结构之间的关系，13.2(b)表示了request、bio和bio_vec数据结构之间的关系，13.2(c)表示了bio与bio_vec数据结构之间的关系，因此整个图13.2递归地呈现了request队列、request、bio和bio_vec这4个结构体之间的关系。
内核还提供了一组函数（宏）用于操作bio：
int bio_data_dir(struct bio *bio);
这个函数可用于获得数据传输的方向是READ还是WRITE。
struct page *bio_page(struct bio *bio);
这个函数可用于获得目前的页指针。
int bio_offset(struct bio *bio);
这个函数返回操作对应的当前页内的偏移，通常块I/O操作本身就是页对齐的。
int bio_cur_sectors(struct bio *bio);
这个函数返回当前bio_vec要传输的扇区数。
char *bio_data(struct bio *bio);
这个函数返回数据缓冲区的内核虚拟地址。
char *bvec_kmap_irq(struct bio_vec *bvec, unsigned long *flags);
这个函数返回一个内核虚拟地址，这个地址可用于存取被给定的bio_vec入口指向的数据缓冲区。它也会屏蔽中断并返回1个原子kmap，因此，在bvec_kunmap_irq()被调用以前，驱动不应该睡眠。
void bvec_kunmap_irq(char *buffer, unsigned long *flags);
这个函数是bvec_kmap_irq()函数的“反函数”，它撤销bvec_kmap_irq()创建的映射。
char *bio_kmap_irq(struct bio *bio, unsigned long *flags);
这个函数是对bvec_kmap_irq()的包装，它返回给定的bio的当前bio_vec入口的映射。
char *__bio_kmap_atomic(struct bio *bio, int i, enum km_type type);
这个函数通过kmap_atomic()获得返回给定bio的第i个缓冲区的虚拟地址。
void __bio_kunmap_atomic(char *addr, enum km_type type);
这个函数返还由__bio_kmap_atomic()获得的内核虚拟地址。
另外，对bio的引用计数通过如下函数完成：
void bio_get(struct bio *bio); //引用bio
void bio_put(struct bio *bio); //释放对bio的引用
扫一扫
616
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
