【云存储】亚毫秒级延时的高性能并行文件系统CPFS的踩坑日记

为了实现多节点、大容量的共享实时存储目的，经过三日的调研和踩坑，终于布置了亚毫秒级的云存储。据官方介绍能同时支持2000个节点的访问，虽然我目前还没有能力拥有这么多节点，但不防碍我特此记录踩坑日记

1. Ubuntu系统版本

1.1 确认系统版本兼容性

查看系统版本
lsb_release -a

gpu@v:~/sw$ lsb_release -a
LSB Version:    core-11.1.0ubuntu2-noarch:security-11.1.0ubuntu2-noarch
Distributor ID: Ubuntu
Description:    Ubuntu 20.04.6 LTS
Release:        20.04
Codename:       focal

查看内核版本
cat /proc/version

gpu@v:~/sw$ cat /proc/version
Linux version 5.4.0-162-generic (buildd@lcy02-amd64-069) (gcc version 9.4.0 (Ubuntu 9.4.0-1ubuntu1~20.04.1)) #179-Ubuntu SMP Mon Aug 14 08:51:31 UTC 2023

查看内核列表
sudo dpkg --get-selections | grep linux-image

gpu@v:~/sw$ sudo dpkg --get-selections | grep linux-image 
[sudo] password for gpu: 
linux-image-5.4.0-162-generic                   install
linux-image-5.4.0-42-generic                    install
linux-image-generic                             install

1.2 CPFS系统版本方案

1.2.1 方案1

官方要求匹配版本：Ubuntu 20.04.3 LTS 5.4.0-86-generic 版本
经实测，方案1 在我的系统版本中失败

1.2.2 方案2

官方要求匹配的版本：Ubuntu 20.04.5 LTS 64位
经实测，方案2 在我的系统版本中成功

2. 方案1

登录POSIX客户端管理节点

2.1 查看cpfs盘

[root@cpfs-0******6-000001-qr-001 ~]# df -hl
Filesystem               Size  Used Avail Use% Mounted on
devtmpfs                 3.8G     0  3.8G   0% /dev
tmpfs                    3.8G   16K  3.8G   1% /dev/shm
tmpfs                    3.8G  516K  3.8G   1% /run
tmpfs                    3.8G     0  3.8G   0% /sys/fs/cgroup
/dev/vda1                 40G  7.1G   33G  18% /
0******6-000001  3.6T  416M  3.6T   1% /cpfs/0******6-000001
tmpfs                    763M     0  763M   0% /run/user/0

2.2 设置所有目标ECS免密登录密钥

POSIX客户端管理节点需要目标ECS的SSH权限，才能自动在目标ECS上安装CPFS-POSIX客户端和挂载管理

2.2.1 查看密钥

在POSIX客户端管理节点001主机中操作本步骤：

生成密钥（先查看私钥或公钥，如果存在就不用重新生成）
ssh-keygen -t rsa
查看私钥
cat /root/.ssh/id_rsa
查看公钥
cat /root/.ssh/id_rsa.pub

2.2.2 布置公钥到目标ECS主机

登录ECS主机
在所有需要使用CPFS的目标ECS主机中操作本步骤：
目的是让需要用到CPFS网盘的主机都能被POSIX客户端管理节点识别，才能挂载网盘

echo "ssh-rsa AAAAB3Nzaf36pd*7oPwAAAADA*AABgQDA0ADNMLsX*1Knz/R3Zra3+zB0YZpg7UYsJkWB/H7KtqrO77HxYSUegV9IQTRqg8chXhi13eG9VSNvAxeNpAY5E*4DDHmG0gcpjspBw0T7Jhq9dn0NAcYwIvixHddWM*k0ADNML71QwtU1Nue9++KwbPSB3dv3g3d7jKIQF/9Ig1+PQ*VH1K92Hn9/ZvFqYq/ptz+374gz7RaKjoPre8qAThDxf36pdvK7oPwNU354MoNHuEQVmgZXdPRc6/YzWw*epILaJkAQ1xJ43Rjzk95pEpafgFaKjoP26ZoCdniB17uTHIYs8qUDRlcPwqT9Gy42az2K5S*X3YF2efIK15XfnyT5k05kaaM05wMOURvoPOQW1uz1NF2jHK/GVYSWyymG4/U7nJ*cbVnMAGKaKjoPkPHwsSG/OcI99BaKjoPX0BA1Mnt*rYiv+n*BDNM0aixliWDfaRXJE= root@cpfs-0******5-000001" >> /root/.ssh/authorized_keys

重启SSHD
service sshd stop
service sshd start

查看SSHD状态
service sshd status

2.3 目标ECS加入POSIX客户端集群