spdk探秘-----块设备开发指导

这里的块设备是一种存储设备,它支持在固定大小的块中读写数据。这些块通常是512或4096字节。这些设备可能是软件中的逻辑结构,或者对应于像NVMe ssd这样的物理设备。

通用库的公共头文件是bdev.h,它是与任何类型的块设备交互所需的全部API。

除了为所有块设备提供一个通用的抽象之外,bdev层还提供了许多有用的特性:

1、I/O请求自动排队,以响应队列满或内存不足的情况

2、热删除支持,即使有I/O流量时。

3、I/O统计信息,如带宽和延迟

4、设备重启和I/O超时跟踪

struct spdk_bdev(bdev)表示一个通用块设备。struct spdk_bdev_desc,称为描述符,表示给定块设备的句柄。描述符用于建立和跟踪使用底层块设备的权限,非常文件描述符。对块设备的请求是异步的,并由spdk_bdev_io对象表示。请求必须在关联的I/O通道上提交。将从消息传递和并发两个方面阐述了I/O通道的设计和动机。

Bdevs可以分层,这样一些Bdevs通过将请求路由到其他Bdevs来服务I/O。这可以用于实现缓存、RAID、逻辑卷管理等。将I/O路由到其他bdev的bdev通常称为虚拟bdev,或简称vbdev。

初始化库

bdev层依赖于头文件include/spdk/thread.h提供的通用消息传递基础设施。最重要的是,只能通过spdk_thread_create()分配的线程才能调用bdev库。

在分配的线程中,可以通过调用spdk_bdev_initialize()来初始化bdev库,这是一个异步操作。在调用完成回调之前,不能调用其他bdev库函数。相反的要卸载bdev库,可以调用spdk_bdev_finish()。

发现块设备

所有块设备都有一个简单的字符串名称。在任何时候都可以通过调用spdk_bdev_get_by_name()获得指向设备对象的指针,也可以使用spdk_bdev_first()和spdk_bdev_next()迭代整个bdevs集合。

一些块设备也可能被赋予别名,这也是字符串名称。别名的行为类似符号链接——它们可以与真名互换使用,以查找块设备。

块设备准备

为了向块设备发送I/O请求,必须首先通过调用spdk_bdev_open_ext()来打开它。这将返回一个描述符。多个用户可能同时打开一个bdev,用户之间读写的协调必须由bdev层之上的机制来处理。如果虚拟bdev模块claimed了bdevA,那么使用写权限打开bdevA可能会失败。因为虚拟bdev模块实现像RAID或逻辑卷管理这样的逻辑,并将它们的I/O转发给较低级别的bdevA,因此它们将这些较低级别的bdevA标记为claimed的,以防止外部用户发出写操作。

当块设备打开时,必须提供回调和上下文,当bdev触发异步事件(如bdev删除)时,将使用适当的spdk_bdev_event_type enum作为参数调用它们。例如,当NVMe SSD热拔时,将对物理NVMe SSD支持的bdev的每个打开的描述符调用回调。在这种情况下,可以将回调看作是关闭描述符的请求,以便释放其他内存。当描述符存打开时不能卸载bdev,因此需要提供回调。

当用户使用完描述符时,他们可以通过调用spdk_bdev_close()来释放它。

描述符可以同时传递给多个线程并在多个线程使用。但是,对于每个线程,必须通过调用spdk_bdev_get_io_channel()来获得一个单独的I/O通道。这将为每个线程分配必要的资源,以便在不获取锁的情况下向bdev提交I/O请求。要释放一个通道,请调用spdk_put_io_channel()。在所有相关联的通道被销毁之前,描述符不能被关闭。

发送I / O

一旦获得了描述符和通道,就可以通过调用各种I/O提交函数(如spdk_bdev_read())来发送I/O。这些调用都接受一个回调函数作为参数,在后面会使用spdk_bdev_io对象的句柄来调用该回调函数。为了响应这个完成,用户必须调用spdk_bdev_free_io()来释放资源。在这个回调中,用户还可以使用函数spdk_bdev_io_get_nvme_status()和spdk_bdev_io_get_scsi_status()来获取他们选择的格式的错误信息。

I/O提交是通过调用spdk_bdev_read()或spdk_bdev_write()等函数来执行的。存储需要写入device的数据的内存必须通过spdk_dma_malloc()或它的变体来分配。在用户空间的直接内存访问(DMA)中会介绍为什么必须使用DMA来分配。在一般情况下,内存中的数据将被直接传输到块设备。这个过程零拷贝。

所有的I/O提交函数都是异步的和非阻塞的。它们不会因为任何原因阻塞或停止线程。但是,I/O提交函数可能有两种失败。首先,它们可能会立即失败并返回一个错误代码。在这种情况下,提供的回调将不会被调用。其次,它们可能异步失败。在这种情况下,相关的spdk_bdev_io将被传递给回调函数,它将报告错误信息。

有些I/O请求类型是可选的,可能不被给定的bdev支持。要查询bdev支持的I/O请求类型,请调用spdk_bdev_io_type_supported()。

重置块设备

为了处理意外的故障条件,bdev库提供了一种通过调用spdk_bdev_reset()来重置的机制。这将向bdev存在I/O通道的每个其他线程传递消息,暂停它,然后将一个复位请求转发给底层bdev模块,并等待完成。完成后,I/O通道将恢复,重置将完成。bdev模块中的特定行为是特定于模块的。例如,NVMe设备将删除所有队列对,执行一个NVMe重置,然后重新创建队列对并继续。最重要的是,无论设备类型是什么,对块设备的所有I/O都将在重置完成之前完成。

编写自定义块设备模块

这个指南是为编写自己的块设备模块以与SPDK的bdev层集成的开发人员准备的。

在SPDK中,块设备模块相当于传统操作系统中的设备驱动程序。模块提供了一组函数指针,用于服务块设备I/O请求。SPDK提供了许多块设备模块,包括NVMe、RAM-disk和Ceph RBD。但是,有些用户希望编写自己的存储,以便与自定义硬件或现有的存储软件堆栈交互。本指南旨在准确地演示如何编写模块。

创建新模块

块设备模块现在位于lib/bdev的子目录中。目前还不能将bdev模块的代码放在其他地方。要创建模块,添加一个带有单个C文件和Makefile的新目录。一个很好的途径是复制现有的“null”bdev模块。

bdev模块将与之交互的主要接口在include/spdk/bdev_module.h中。在这个头文件中定义了一个宏SPDK_BDEV_MODULE_REGISTER来注册一个新的bdev模块。这个宏采用一个指针spdk_bdev_module结构作为参数,该结构用于注册新的bdev模块。spdk_bdev_module结构描述了模块属性初始化(module_init)和卸载(module_fini)函数。可以查看struct spdk_bdev_module的文档了解更多细节。

创建Bdevs

通过调用spdk_bdev_register()在模块中创建新的bdev。新模块必须分配struct spdk_bdev,并初始化,并将它传递给寄存器调用。要初始化的最重要的字段是fn_table,它指向这个数据结构:

/*
* Function table for a block device backend.
*
* The backend block device function table provides a set of APIs to allow
* communication with a backend. The main commands are read/write API
* calls for I/O via submit_request.
*/
struct spdk_bdev_fn_table {
/* Destroy the backend block device object */
int (*destruct)(void *ctx);
/* Process the IO. */
void (*submit_request)(struct spdk_io_channel *ch, struct spdk_bdev_io *);
/* Check if the block device supports a specific I/O type. */
bool (*io_type_supported)(void *ctx, enum spdk_bdev_io_type);
/* Get an I/O channel for the specific bdev for the calling thread. */
struct spdk_io_channel *(*get_io_channel)(void *ctx);
/*
* Output driver-specific configuration to a JSON stream. Optional - may be NULL.
*
* The JSON write context will be initialized with an open object, so the bdev
* driver should write a name (based on the driver name) followed by a JSON value
* (most likely another nested object).
*/
int (*dump_config_json)(void *ctx, struct spdk_json_write_ctx *w);
/* Get spin-time per I/O channel in microseconds.
* Optional - may be NULL.
*/
uint64_t (*get_spin_time)(struct spdk_io_channel *ch);
};

bdev模块必须实现这些函数回调。

当系统不再需要该设备时,调用析构函数来拆除该设备。destruct所做的是由模块决定:可能只是释放内存,也可能是关闭一块硬件。

io_type_supported函数返回是否支持特定的I/O类型。可用的I/O类型有:

enum spdk_bdev_io_type {
SPDK_BDEV_IO_TYPE_INVALID = 0,
SPDK_BDEV_IO_TYPE_READ,
SPDK_BDEV_IO_TYPE_WRITE,
SPDK_BDEV_IO_TYPE_UNMAP,
SPDK_BDEV_IO_TYPE_FLUSH,
SPDK_BDEV_IO_TYPE_RESET,
SPDK_BDEV_IO_TYPE_NVME_ADMIN,
SPDK_BDEV_IO_TYPE_NVME_IO,
SPDK_BDEV_IO_TYPE_NVME_IO_MD,
SPDK_BDEV_IO_TYPE_WRITE_ZEROES,
};

对于最简单的bdev模块,只需要SPDK_BDEV_IO_TYPE_READ和SPDK_BDEV_IO_TYPE_WRITE。SPDK_BDEV_IO_TYPE_UNMAP通常被称为“trim”或“deallocate”,它是一个将一组块标记为不再包含有效数据的请求。SPDK_BDEV_IO_TYPE_FLUSH请求使之前完成的所有写操作具有持久性,许多设备不需要flush。SPDK_BDEV_IO_TYPE_WRITE_ZEROES就像常规的写操作,但是不提供数据缓冲区(它只包含所有的0)。如果不支持它,一般的bdev代码可以通过发送常规的写请求来模拟它。

SPDK_BDEV_IO_TYPE_RESET是一个中止所有I/O并将底层设备返回到初始状态的请求。在以某种方式完成所有I/O之前,不要完成重置请求。

SPDK_BDEV_IO_TYPE_NVME_ADMIN、SPDK_BDEV_IO_TYPE_NVME_IO_MD和SPDK_BDEV_IO_TYPE_NVME_IO_MD都是通过SPDK bdev层传递原始NVMe命令的机制。它们是严格可选的,可能只有在后备存储设备能够处理NVMe命令时才有意义。

get_io_channel函数应该返回一个I/O通道。通用bdev层将每个线程调用一次get_io_channel,缓存结果,并将结果传递给submit_request。它将为调用submit_request的线程使用相应的通道。

submit_request函数被调用来实际地向块设备提交I/O请求。I/O请求完成后,模块必须调用spdk_bdev_io_complete()。I/O不必在submit_request的调用上下文中完成。

创建虚拟Bdevs

如果块设备A通过将I/O路由到其他块设备B来处理I/O请求,则认为A是虚拟的。典型的例子是实现RAID的bdev模块就是个虚拟模块。虚拟bdev的创建方式与常规bdev相同,但需要额外的一个步骤。虚拟模块可以使用spdk_bdev_get_by_name()查找它希望将I/O路由到的底层bdevs,其中字符串名称由用户在配置文件中或通过RPC提供。然后通过打开底层bdev获取描述符,并为bdev创建I/O通道(可能是对get_io_channel回调的响应),模块可以正常运行。最后一步是让虚拟模块用其底层块设备描述符来调用spdk_bdev_module_claim_bdev(),表明该虚拟模块正在使用底层的bdev。这将防止其他用户在该底层模块上打开具有写权限的描述符。这有效地将描述符“提升”为写独占,并且这是一个仅对bdev模块可用的操作。

  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值