1. 准备环境
1.1 准备linux系统
要求的linux系统可以是运行在物理机上,也可以是虚拟机上;
建议有个linux系统,一个做host,一个做target,如果资源紧张也可以把host和target运行在一个linux系统里;
要求linux系统的内核版本为linux-4.1之后的版本,早期版本不支持NVMe over TCP;作者实验时用的是linux-5.0.7版本。
为host主机端准备NQN相关名称(连接target时使用):
注意设置主机的NQN,可以手动指定,也可以命令产生(nvme gen-hostnqn命令产生也可以。要求编译nvme命令时定义LIBUUID才能使用此命令)。
示例如下截图:
1.2 准备硬盘
如果使用的是物理机,则需要准备一个或多个硬盘资源,如果使用的是虚拟机,则可以多添加几块盘;
对硬盘类型无要求,只要能够被linux系统所识别的,任何类型接口的硬盘都可以。
1.3 系统运行检查
登陆linux系统后,做如下检查:
在target环境上,使用lsmod |grep nvme命令,查看nvmet内核模块和nvmet_tcp内核模块确保都已经被正常加载;
在target环境上,使用ls /sys/kernel/config/命令确保此目录中已经有了nvmet目录;
在host环境上,使用lsmod |grep nvme命令,查看nvme内核模块和nvme_core内核模块,确保都已经被正常加载;
在host环境上,区别已经安装了可执行的nvme命令,可以使用nvme -h查看帮助。
作者实验时使用了一个虚拟机,既做host也做target,模块加载示例如下:
查看目录示例如下:
2. 在target环境上创建NVM subsys
进入/sys/kernel/config/nvmet/subsystems目录执行mkdir nqn.2014-08.org.nvmexpress.mytest命令
注意:nqn.2014-08.org.nvmexpress.mytest是新建NVM subsystem随便写的NQN名字,但实际应用时需要按规范定义。
3. 设置NVM subsystem允许访问的主机
进入/sys/kernel/config/nvmet/subsystems/nqn.2014-08.org.nvmexpress.mytest目录中操作。
本示例中,echo 1 > attr_allow_any_host 设置了允许所有主机访问:
4. 申请NSID
在/sys/kernel/config/nvmet/subsystems/nqn.2014-08.org.nvmexpress.mytest/namespaces目录中操作。
直接使用准备申请的NSID作为目录名创建目录即可。
5. 向NSID上挂载存储设备
在/sys/kernel/config/nvmet/subsystems/nqn.2014-08.org.nvmexpress.mytest/namespaces/1/目录中操作
在上一步以NSID为目录名创建目录中,能够看到device_path,这里就是用此路径让NSID关联上存储媒介。
echo /dev/sda2 > device_path
然后
echo 1 > enable
注意:例子中/dev/sda2是一个示例,请根据自己环境准备的块设备名来执行此命令。
6. 创建NVMe over TCP的Transport层
进入/sys/kernel/config/nvmet/ports目录进行操作。
mkdir 1234
进入/sys/kernel/config/nvmet/ports/1234/目录,此目录自动包含了如下内容
开始设置这些属性:
echo tcp > addr_trtype
echo ipv4 > addr_adrfam
echo 127.0.0.1 > addr_traddr
echo 4420 > addr_trsvcid
设置tcp链路相关的参数。
注意:由于实验室host和target使用了同一个linux系统,所以tcp服务地址使用了127.0.0.1,帧听端口号为4420。
7. 让Transport与NVM subsystem建立关联
进入/sys/kernel/config/nvmet/ports/1234/subsystems目录进行操作。
使用ln -s 把刚才创建的NVM subsystem在此目录中建立一个软连接。
注意:例子中软连接的名字tcpsubsys,实际是对应的前边创建的NVM subsystem。
如果都执行成功,此时使用netstat -ltnp命令就可以看到4420端口正在运行着帧听服务。
8. 使用host主机进行Discovery
在host端执行命令:
nvme discover -t tcp -a 127.0.0.1 -s 4420 -q nqn.xxx......
9. 连接
在host主机端执行命令
nvme connect -t tcp -a 127.0.0.1 -s 4420 -n nqn.2014-08.org.nvmexpress.mytest
连接成功后,执行nvme list就能看到NVMe over TCP相关的盘。
10. 其他操作
请参照nvme -h提供的帮助,可以进行其他操作了。