【星海出品】openstack 存储篇，涉及LVM后端，ceph后端

本文链接：https://blog.csdn.net/weixin_41997073/article/details/124292882

本文详细介绍了如何在Red Hat环境中使用LVM创建逻辑卷组，配置设备扫描过滤器，以及在Kolla部署的OpenStack环境中处理存储问题，包括Cinder驱动的查找和LVM卷的备份与维护。特别关注了iscsi和LVM驱动在Kolla部署中的应用及json.log增长问题的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

LVM后端创建
LVM的Red Hat 管理介绍：https://access.redhat.com/documentation/zh-cn/red_hat_enterprise_linux/7/html/logical_volume_manager_administration/index
cinder_volume_group: “cinder-volumes”

pvcreate /dev/sdb #sdb是需要干净的存储位
vgcreate cinder-volumes /dev/sdb

使用过滤器控制 LVM 设备扫描
/etc/lvm/lvm.conf
filter = [ “a/sdX/”,“r/.*/” ]
通过在 lvm.conf 配置文件中设定过滤器控制设备 LVM 扫描。lvm.conf 文件中的过滤器由一系列简单正则表达式组成，应用于 /dev 目录中的设备名以决定接受或者拒绝每个找到的块设备。

注意
lvmetad 守护进程处于运行状态时，执行 pvscan --cache device 命令时不会应用 /etc/lvm/lvm.conf 文件中的 filter = 设置。要过滤设备，则需要使用 global_filter = 设定。LVM 不会打开无法进行全局过滤的设备，且再也不会对其进行扫描。可能会需要使用全局过滤器，例如：在 VM 中使用 LVM 设备，且不想让该物理主机扫描 VM 中设备的内容。

查看cinder的banckup-drivers
我是使用的KOLLA部署的openstack-W版本
发现没有 iscsi 和 LVM 的驱动。
在这里插入图片描述

kolla还有一个需要注意的存储问题。docker的问题
JSON.log的增长速度异常
/var/lib/docker/containers//-json.log

因为 LVM 的驱动创建出来的机器，会挂载到 /dev/ 下，单独创建一个盘进行连接。
所以我直接对/dev/sdx 进行操作即可。

#备份我使用了，稀疏拷贝
dd  if=srcFile  of=dstFile  iflag=direct  oflag=direct  bs=4M  conv=sparse
dd  if=/dev/sdx  of=./instance-Ubuntu40G  iflag=direct  oflag=direct  bs=4M  conv=sparse

#让dd命令，每20秒，发送一下dd的进度
watch -n 20 killall -USR1 dd

备份也可以使用卷镜像，卷备份等命令

数据库中查找盘的具体位置
根据实例名称，去查看实例UUID
[nova]> select * from instances where hostname = "XXXABCinstance"\G
[nova]> select * from block_device_mapping where instance_uuid="XXX-XXX-XXX-XXX" \G

# 如果硬重启导致了该实例出现问题，可以直接对盘进行修复。
e2fsck –F –a –d /dev/sdc1

如果想要查看实例对应的设备。可以通过
使用docker pa –a | grep libvirt
进入libvirt容器，virsh list 查看实例
Virsh dumpxml #查看device相关信息。

#出现重启服务后，显示无法链接到/DEV/SDX， block_init 初始化失败，先查看这个服务是否是正常启动的，在ISCSI容器下
/etc/init.d/iscsid  status

#使用这个命令，在不同的NODE节点，去反复的确认到各个节点是否通畅
iscsiadm -m discovery -t sendtargets -p 192.168.1.188:3260

2、进一步确认，可以登录连接
# iscsiadm -m node -T iqn.2003-05.com.stringbeansoftware:gowwjdkuvlbtild-oracle-target -p 192.168.1.188:3260 -l
# iscsiadm -m session - i

#也相对的要查看LVM的状态是不是ACTION
lvscan  查看LV的状态

#VG也要重新激活一下
/sbin/vgscan    #发现VG
/sbin/vgchange -a y  #激活VG

#怀疑为mount问题
#进行手动mount,目前没走通手动挂在，正在反复测试
ls /dev/mapper
mount  /dev/mapper  /dev/sdX
#

ceph

# Openstack ceph存储导出卷
# 通过cephadm shell 进入ceph的管理员中 #正常是在监控节点
cephadm shell

# 可以通过 ceph osd lspools 查看池
ceph osd lspools

# 然后通过 rbd ls volumes 其中的一个池
rbd ls volumes
# 查看是否有该虚拟机的磁盘ID，磁盘 ID 通过在云平台点击实例便可以查看到每块盘的 ID

系统盘迁移

rbd export volumes/volume-7c6f0f03-1557-4210-b5e8-684375c08915 20240206.raw

#如果在容器中需要拷贝到主机，通过docker命令拷贝出来
docker cp a379f2dffe6e:/tmp/20240620.raw ./
#docker ps | grep ceph  查看ceph的容器有哪些
#docker exec -ti xxx /bin/bash 进入查看是否是该容器中属于ceph管理员容器

# root@controller01:~# source python/bin/activate
# (python) root@controller01:~# source admin-openrc.sh

apt install qemu-utils
qemu-img info ./wx-TEST02-20240620.raw # 查看文件是否是真实可用的
qemu-img convert -f raw -O qcow2 xxxxxx.raw xxxxxxxxx.qcow2 # 将 raw 文件转换为 qcow2 文件
qemu-img info ./wx-TEST02-20240620.qcow2 # 检查文件是否正常

openstack image create <name> --file ./xxxxxxxxx.qcow2 --disk-format qcow2 --container-format bare --public  
# 导入为 openstack 中的镜像

openstack image list # 检查是否成功

然后通过云平台进行创建

数据盘

数据盘
rbd import ./disk.raw --pool openstack-pool
rbd list --pool openstack-pool  <openstack-pool 是一个池>  # 检查

将新平台中VM-A的磁盘删除
rbd rm volume-eaed6f76-73cf-xxxx-xxxx-xxxxxxxxxx --pool openstack-pool

将导入进来disk.raw 改为删除的原文件名
rbd mv openstacl-pool/disk.raw openstack-pool/volume-eaed6f76-73cf-xxxx-xxxx-xxxxxxxxxx
结束重启虚拟机，正常启动！

检查环境问题

#!/bin/bash 
source_file_path="/root/admin-openrc.sh"

if lsb_release -irs | grep -q "^.*Ubuntu.*" > /dev/null;then 
    echo "[INFO] Check system is Ubuntu" 
else 
    printf "[ERROR]Not support Operating systems other than Ubuntu" 
    exit 1 
fi 

code=$(which openstack) 
if [[ ${code} == *"openstack"* ]];then 
    printf "[INFO] Check Openstack CLI\n"
else 
    printf "[ERROR] Check Openstack CLI ,not found" 
    printf "Command 'openstack' not found, but can be installed with:
snap install openstackclients         # version xena, or
#apt  install python3-openstackclient  # version 5.8.0-0ubuntu1
#See 'snap info openstackclients' for additional versions.\n[ERROR]step1 check env False\n" 
    exit 1
fi 
infor=$(openstack server list)
if [[ ${infor} == *"Flavor"* ]];then
    echo "[INFO] successful Run openstack CLI"
else
    echo "[ERROR] False to run openstack CLI"
    exit 1
fi

echo "[INFO] done"