玩转对象存储之将OOS挂载到vsphere存储池使用

    在天翼云上申请了OOS，通过在本地vsphere虚拟化集群中一台VM上安装部署对象存储网关软件+NFS服务器，最终实现把天翼云上的OOS挂载进vsphere6.7集群的存储资源池。

一、组网拓扑

 

 

二、实现主要思路

1）、为什么这么玩？

     为了实现将对象存储当成本地硬盘的效果，我尝试了很多方法，最后成功的只有一种，先介绍我失败的方法：

1、通过S3FS将对象存储挂载到VM的目录上，然后通过NFS将目录挂载共享，此时NFS客户端加载没有问题，但是向共享目录保存文件时大量出错，失败；

2、直接通过S3FS将对象存储挂载到本地目录，考虑分片与断点续传以及本地缓存，做了大量根据s3fs的调优，结果还是失败，给出我的调优后命令：

s3fs -o allow_other nfs2oos /home/oos/nfs2oos -o url=http://oos-hbwh.ctyunapi.cn/ -o use_cache=/oostmp -o parallel_count=10 -o stat_cache_expire=3600 -o max_stat_cache_size=100000 -o connect_timeout=30 -o readwrite_timeout=40 -o nomultipart

3、VM上安装云存储网关程序，通过云存储网关程序配置将oos桶映射为iSCSI的lun，在vsphere上通过iSCSI方法直接添加失败，此时vsphere可以找到云存储网关的启动器，但是无法找到lun资源；

2）、成功的主要思路

1、云上操作：在云上申请oos服务，创建bucket，记录好访问控制的ak与sk信息，记录好endpoint信息；

2、本地vsphere上安装一个centos7的vm，在centos7上部署安装云存储网关软件；

3、通过云存储网关初始化网关及创建lun；

4、在云存储网关同一台vm安装配置nfs服务器软件，如果内网已经有nfs服务器则在nfs服务器上安装 iscsi-initiator-utils软件；

5、nfs上通过iscsiadm 找到并登陆iSCSI；

6、格式化iSCSI磁盘并将磁盘挂载到本地数据目录；

7、将iSCSI挂载的本地数据目录通过nfs以读写方式挂载成nfs服务；

8、在vsphere集群中新建存储以nfs3.0的形式找到nfs资源，挂载成功；

三、实现步骤

1、云上操作

第一步创建bucket容器

这一步是通过云存储网关在vm上创建的，无需在云侧手工操作，放在这里是因为统一云侧信息展示；

2、本地vm上安装部署云存储网关软件并初始化网关

因为云存储网关软件需要java环境，所以需要vm上安装java1.8运行环境

 wget https://www.oracle.com/webapps/redirect/signon?nexturl=https://download.oracle.com/otn/java/jdk/8u202-b08/1961070e4c9b4e26a04e7f5a083f551e/jdk-8u202-linux-x64.tar.gz

tar -xvf jdk-8u202-linux-x64.tar.gz -C /opt/java/

vi /etc/profile

export PATH=${PATH}:/opt/java/jdk1.8.0_202/bin

验证java

java -version

设置本地时间，检查时钟同步

timedatectl set-timezone Asia/Shanghai

timedatectl status

操作系统防火墙添加iSCSI端口

firewall-cmd --permanent --add-port=3260/tcp && firewall-cmd --reload

云存储网关安装部分

unzip CTYUN_OOS_Gateway_version.zip 

cd /home/oos/CTYUN_OOS_Gateway_1.4.6

chmod a+x OOS_Gateway 

./OOS_Gateway setup --初始化

./OOS_Gateway create-lun --创建卷

云存储网关管理部分

停止网关  ./OOS_Gateway stop

解压缩新版本  unzip CTYUN_OOS_Gateway_xx.zip

cd 解压缩目录 chmod a+x OOS_Gateway

升级 ./OOS_Gateway upgrade 

3、iSCSI客户端部分

yum -y install iscsi-initiator-utils -y

iscsiadm -m discovery -t st -p 10.37.10.3

iscsiadm -m node -T iqn.2012-08.cn.ctyunapi.oos:iscsi2oos.xfvip-oos-lun-01 -p 10.37.10.3 -l

iscsiadm -m node

iscsiadm -m session

本地挂载

parted -s /dev/sdc mklabel gpt mkpart primary 0% 100%

格式化挂载磁盘

mkfs.xfs /dev/sdc 

挂载磁盘

mount /home/oos/nfs2oos /dev/sdc1

显示本地挂载

lsblk

4、nfs服务器安装配置部分

 yum install nfs-utils rpcbind -y
 systemctl enable nfs-server
 systemctl enable rpcbind
 systemctl enable nfs-lock
 systemctl enable nfs-idmap
 systemctl start rpcbind
 systemctl start nfs-server
 systemctl start nfs-lock
 systemctl start nfs-idmap

防火墙部分

firewall-cmd --zone=public --permanent --add-service={rpc-bind,mountd,nfs}
firewall-cmd --reload
firewall-cmd --list-all

定义nfs共享目录

vi  /etc/exports
/home/oos/nfs2oos *(rw,fsid=1,sync,no_root_squash,no_all_squash)

服务加载

exportfs -rv

5、vsphere集群存储挂载

 

通过服务器侧showmount -a显示vsphere挂载情况 

 

添加成功后，将一台虚拟机通过存储迁移至oos存储盘，运行效果如下：