一名运维开发工程师的日常记录

RDMA（全称：Remote Direct Memory Access）是一种远程直接内存访问技术，通过在硬件中实现传输层协议，将内存/消息原语接口暴露至用户空间，通过绕过CPU和内核网络协议栈来实现高吞吐和低延迟的网络。RoCE（RDMA over Converged Ethernet）是一种允许通过以太网使用远程直接内存访问（RDMA）的网络协议。关于什么是NVMe over Fabrics,什么是NVMe over RDMA，本文就不做介绍了，网上资料一大堆。

SPDK NVMe over Fabrics Target是一个用户空间应用程序，通过以太网，Infiniband或光纤通道等结构呈现块设备,SPDK目前支持RDMA和TCP传输。默认TCP transport就支持了，如果要走RDMA需要spdk编译时加相关参数开启。前文讲到基于 Anolis OS release 8.6 kernel 5.10.134-13.an8.x86_64 安装了spdk 22.0。

如下在spdk 接管设备时，报错Active devices: data@nvme0n1, so not binding PCI dev。于是查看磁盘信息, 原因是曾经被我格式化过了。此时需要使用dd 将文件系统信息擦除。

SPDK的部署可以参考官方 https://github.com/spdk/spdk 有文档这里记录一下，基于 Anolis OS release 8.6 kernel 5.10.134-13.an8.x86_64v 下的部署以及遇到的问题使用 v22 版本 ， 这里会git clone github项目，国内访问github会失败，建议自行GG解决github访问过慢问题哈。

NVMe over TCP，简单来说就是使用TCP协议下发NVMe命令给远端的NVMe设备。NVMe over TCP环境搭建时，发送NVMe命令的叫做host端，接收NVMe命令的叫target端。host 端挂载target端的磁盘到本地使用。基于 Anolis OS release 8.6 kernel 5.10.134-13.an8.x86_64。

命令可以查看ETCD集群的成员状态。这将列出集群中所有节点的信息，包括节点ID、名称、客户端URLs和peerURLs等。系统，广泛应用于配置共享、服务发现、分布式锁等多个领域。下面整理了v2/v3版本中命令的使用差异。命令可以监视ETCD集群中键值对的变化。当指定键的值发生变化时，该命令将输出新的键值对。命令可以获取ETCD集群中的键值对。命令可以设置键的TTL，即键在多长时间后自动删除。使用etcdctl 查看etcd 整个目录树结构。命令可以删除ETCD集群中的键值对。命令可以设置或更新键值对。

我们已经创建了逻辑卷并准备使用LUN，现在我们在目标器配置中定义target 以及LUN设备，只有这样做它才能用在客户机中（发起程序）。

cinder-volume 默认使用 LVM 驱动，该驱动当前的实现需要在主机上事先用 LVM 命令创建一个的卷组 , 当该主机接受到创建卷请求的时候，cinder-volume 在该卷组 上创建一个逻辑卷, 并且用 openiscsi 将这个卷当作一个 iscsi tgt 给输出.还可以将若干主机的本地存储用 sheepdog 虚拟成一个共享存储，然后使用 sheepdog 驱动。

虚机保存自定义镜像请求api 的_action_create_image ，这里查询instance以及bdms，因为未开enable_snapshot_volume_backed，所以执行了self.compute_api.snapshottry:bdms):context,instance,metadata)else:instance,

经过测试，发现如果磁盘不分区的话只是mkfs /dev/sdb 整个磁盘的话，不论xfs还是ext 文件系统，都是能够热扩容的。Linux 磁盘文件系统主要用的是xfs和ext2-ext4, 于是做了相关扩容测试。我们df -h 后发现大小没变，只能重新卸载挂载磁盘。

cinder-volume的task_flows 中提取volume的spec相关信息，通知volume创建，开始创建volume云盘，因为基于镜像创建系统盘，所以执行_create_from_image函数，调用rbd driver clone_image，同时更新volume_glance_metadata表。筛选根据az，容量，特性等filter筛选合适的backend，并更新volume backend信息，最后调用cinde-volume的rpc_api create_volume。

工作中需要计算云盘快照容量以及云盘自身的大小。