④ CephFs文件系统

最新推荐文章于 2024-08-19 09:33:29 发布
最新推荐文章于 2024-08-19 09:33:29 发布
阅读量908 收藏 4
点赞数 1
分类专栏： Ceph分布式存储 文章标签： Ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37242520/article/details/108101106
版权

文章目录

一、CephFs介绍

Ceph File System (CephFS) 是与 POSIX 标准兼容的文件系统, 能够提供对 Ceph 存储集群上的文件访问. Jewel 版本 (10.2.0) 是第一个包含稳定 CephFS 的 Ceph 版本. CephFS 需要至少一个元数据服务器 (Metadata Server - MDS) daemon (ceph-mds) 运行, MDS daemon 管理着与存储在 CephFS 上的文件相关的元数据, 并且协调着对 Ceph 存储系统的访问。

对象存储的成本比起普通的文件存储还是较高，需要购买专门的对象存储软件以及大容量硬盘。如果对数据量要求不是海量，只是为了做文件共享的时候，直接用文件存储的形式好了，性价比高。

二、CephFS 架构

底层是核心集群所依赖的, 包括:

  • OSDs (ceph-osd): CephFS 的数据和元数据就存储在 OSDs 上
  • MDS (ceph-mds): Metadata Servers, 管理着 CephFS 的元数据
  • Mons (ceph-mon): Monitors 管理着集群 Map 的主副本
    Ceph 存储集群的协议层是 Ceph 原生的 librados 库, 与核心集群交互.

CephFS 库层包括 CephFS 库 libcephfs, 工作在 librados 的顶层, 代表着 Ceph 文件系统.最上层是能够访问 Ceph 文件系统的两类客户端.

三、配置 CephFS MDS

要使用 CephFS， 至少就需要一个 metadata server 进程。可以手动创建一个 MDS， 也可以使用 ceph-deploy 或者 ceph-ansible 来部署 MDS。

登录到ceph-deploy工作目录执行
ceph-deploy mds create cephnode01 cephnode02 cephnode03

四、部署Ceph文件系统

部署一个 CephFS, 步骤如下:

  1. 在一个 Mon 节点上创建 Ceph 文件系统.
  2. 若使用 CephX 认证,需要创建一个访问 CephFS 的客户端
  3. 挂载 CephFS 到一个专用的节点.
    • 以 kernel client 形式挂载 CephFS
    • 以 FUSE client 形式挂载 CephFS

1、创建一个 Ceph 文件系统

1、CephFS 需要两个 Pools - cephfs-data 和 cephfs-metadata, 分别存储文件数据和文件元数据

ceph osd pool create cephfs-data 256 256
ceph osd pool create cephfs-metadata 64 64
ceph osd lspools

注：一般 metadata pool 可以从相对较少的 PGs 启动, 之后可以根据需要增加 PGs. 因为 metadata pool 存储着 CephFS 文件的元数据, 为了保证安全, 最好有较多的副本数. 为了能有较低的延迟, 可以考虑将 metadata 存储在 SSDs 上.

2、创建一个 CephFS, 名字为 cephfs:

ceph fs new cephfs cephfs-metadata cephfs-data

3、验证至少有一个 MDS 已经进入 Active 状态

ceph fs status cephfs

4、在 Monitor 上, 创建一个用户，用于访问CephFs

ceph auth get-or-create client.cephfs mon 'allow r' mds 'allow rw' osd 'allow rw pool=cephfs-data, allow rw pool=cephfs-metadata'
[client.cephfs]
	key = AQDkr7NePLUoKBAANzKGnWvT6HumKWIPMDJe/Q==

5、验证key是否生效

ceph auth get client.cephfs

6、检查CephFs和mds状态

ceph mds stat
ceph fs ls
ceph fs status

1.1 以 kernel client 形式挂载 CephFS

内核态

这里可以准备一台新机器,网段相同,配置yum源,ssh,主机名

IP：192.168.0.5 host：ceph-grafana

1、创建挂载目录 cephfs

mkdir /cephfs

2、挂载目录

mount -t ceph 192.168.0.6:6789,192.168.0.7:6789,192.168.0.8:6789:/ /cephfs/ -o name=cephfs,secret=AQDkr7NePLUoKBAANzKGnWvT6HumKWIPMDJe/Q==

3、自动挂载

echo "192.168.0.6:6789,192.168.0.7:6789,192.168.0.8:6789:/ /cephfs ceph name=cephfs,secretfile=/etc/ceph/cephfs.key,_netdev,noatime 0 0" | sudo tee -a /etc/fstab

4、验证是否挂载成功

stat -f /cephfs

5、卸载

umount /cephfs

1.2 以 FUSE client 形式挂载 CephFS

用户态
1、安装ceph-common（效率更快一些）

yum install -y ceph-common

2、安装ceph-fuse

yum install -y ceph-fuse

3、将集群的ceph.conf拷贝到客户端

scp root@192.168.0.6:/etc/ceph/ceph.conf /etc/ceph/
chmod 644 /etc/ceph/ceph.conf

#创建秘钥文件,具体内容从node1上执行`ceph auth get client.cephfs`
vim /etc/ceph/ceph.client.cephfs.keyring
[client.cephfs]
	key = AQDkr7NePLUoKBAANzKGnWvT6HumKWIPMDJe/Q==
	caps mds = "allow rw"
	caps mon = "allow r"
	caps osd = "allow rw pool=cephfs-data, allow rw pool=cephfs-metadata"

4、使用 ceph-fuse 挂载 CephFS

ceph-fuse --keyring  /etc/ceph/ceph.client.cephfs.keyring  --name client.cephfs -m 192.168.0.6:6789,192.168.0.7:6789,192.168.0.8:6789 /cephfs/

5、验证 CephFS 已经成功挂载

stat -f /cephfs

6、自动挂载

echo "none /cephfs fuse.ceph ceph.id=cephfs[,ceph.conf=/etc/ceph/ceph.conf],_netdev,defaults 0 0"| sudo tee -a /etc/fstab
或
echo "id=cephfs,conf=/etc/ceph/ceph.conf /mnt/ceph2  fuse.ceph _netdev,defaults 0 0"| sudo tee -a /etc/fstab

7、卸载

fusermount -u /cephfs

五、MDS主备与主主切换

在cephnode01上

1、配置主主备模式

  • 当cephfs的性能出现在MDS上时，就应该配置多个活动的MDS。通常是多个客户机应用程序并行的执行大量元数据操作，并且它们分别有自己单独的工作目录。这种情况下很适合使用多主MDS模式。
  • 配置MDS多主模式
    每个cephfs文件系统都有一个max_mds设置，可以理解为它将控制创建多少个主MDS。注意只有当实际的MDS个数大于或等于max_mds设置的值时，mdx_mds设置才会生效。例如，如果只有一个MDS守护进程在运行，并且max_mds被设置为两个，则不会创建第二个主MDS。
ceph fs set cephfs max_mds 2

#验证MDS
ceph fs status cephfs

1.3、配置备用MDS
即使有多个活动的MDS，如果其中一个MDS出现故障，仍然需要备用守护进程来接管。因此，对于高可用性系统，实际配置max_mds时，最好比系统中MDS的总数少一个。

但如果你确信你的MDS不会出现故障，可以通过以下设置来通知ceph不需要备用MDS，否则会出现insufficient standby daemons available告警信息：

ceph fs set <fs> standby_count_wanted 0 
#备用数量设置为0

2、还原单主MDS

2.1、设置max_mds（也等于设置rank数）

ceph fs set cephfs max_mds 1
#这里的 1为rank的编号

2.2 删除不需要的rank

ceph mds deactivate cephfs:2

3、什么是Rank

在MDS集群中每一个MDS进程由一个Rank进行管理，Rank数量由max_mds参数配置，默认为1。每个Rank都有一个编号。编号从0开始。 rank有三种状态：

up：代表 Rank已经由某个MDS守护进程接管。
failed：代表未被接管。
damaged：代表损坏，元数据丢失或崩溃，可以使用命令ceph mds repaired修复，在未被修复之前Rank不会被分配给任何守护进程。
如果要对MDS进程做高可用，就可以启动多个MDS，然后设置多个Rank，这时候每个MDS就会关联至对应的Rank来实现高用。通常MDS的数量为Rank数量的两倍，这样可以保证任何一个Rank出现问题（Rank出现问题也就相当于MDS出现问题）有另外的MDS进程马上进行替换。

设置Rank数量

ceph fs set cephfs max_mds 1

Rank状态查看

[root@cephnode01 ~]# ceph mds stat
cephfs:1 {0=cephnode02=up:active} 2 up:standby
Linux丶晨星
关注
专栏目录
云原生之深入解析分布式存储系统Ceph的环境部署和实战操作
╰つ栺尖篴夢ゞ
07-13 1390
Ceph 是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)，Ceph 在存储的时候充分利用存储节点的计算能力，在存储每一个数据时都会通过计算得出该数据的位置，尽量的分布均衡。目前，Ceph 也是 OpenStack 的主流后端存储。
ceph 文件系统(cephfs) -- 初体验
weixin_30267785的博客
02-01 170
一、介绍： 　　ceph MDS 是元数据服务器，只有ceph 文件系统（cephFS）才会需要。 　　cephFS 在RADOS 层之上 提供一个兼容POSIX 的文件系统。他是用MDS 作为守护进程，负责管理其元素数据并将它和其他数据分开。 　　cephfs 需要用到两个pool ： fs_data 和fs_metadata。 在初次使用ceph 就能之前需要首先规划 集群一共承载多少存...
Windows编译安装使用cephfs客户端
weixin_33913377的博客
11-30 1202
本文介绍如何将cephfs映射到windows的一个盘上，以磁盘映射的方式访问cephfs。 1.下载必要安装包 tdm-gcc:(安装时选32位)https://sourceforge.net/projects/tdm-gcc/files/TDM-GCC%20Installer/tdm-gcc-5.1.0-3.exe/downloaddokan-0.6.0:https://github.co...
第37讲：Cephfs文件系统的正确使用姿势
最新发布
江晓龙的博客
08-19 999
Cephfs文件系统至少需要一个MDS（Metadata Server组件）来存储文件系统的元数据信息，因此在使用Cephfs文件存储之前，首先要在集群中部署MDS组件，我们希望Cephfs文件存储具备高可用性，所以MDS组件一般都会在集群中部署多个，大多数情况下都是三个MDS组件。Cephfs支持用户级别和内核级别的挂载使用，可扩展性极高，并且可以同时让多个Client客户端进行读写。
CephF概述
qq_31120061的博客
07-02 658
CephFS文件系统概述经典文件系统概述1.1 CephFS1.2 MetaData Server1.3 MDS1.4 Multi MDS1.5 元数据分区Multi MDS简述负载调度方式MDS机制容错问题 经典文件系统概述 索引式文件系统将底层存储数据的磁盘空间切分为块并为每个文件对象所占用所有块建立一个索引表进行统一存放在一个称为“元数据区”的空间中 索引表就是块地址数组，每个数组元素就是块的地址，于是，一个文件对象的块可以分散存储到离散块空间中 索引表的索引结构称为inode，用于索引、跟踪一个文件
CephFS环境搭建（二）
uj_mosquito的专栏
12-25 4030
《CephFS环境搭建（一）》介绍了如何简单搭建一个单Mon，MDS的Cephfs并导出使用，这里深入一步建立三个池，SSD和SATA分开存放在不同的池，建立多Mon，多MDS，结合纠删码，cache分层，建立一个比较健全的cephfs。
Ceph块设备、文件系统操作
qq_42747099的博客
03-30 807
块设备创建并操作使用 块rbd创建 rbd create --size 1024 foo #创建大小为1024M的块设备镜像 rbd list #查看 rbd map foo #映射到内核，并格式化块设备 mkfs.ext4 -m0 /dev/rbd/rbd/foo #创建文件系统，将image格式化为ext4格式的文件系统 mkdir /mnt/rbd #创建挂载目录 mount /dev/...
OpenStack---多节点部署Ceph文件系统
weixin_45726050的博客
03-20 1108
文章目录前言：一、Ceph特点二、Ceph架构介绍2.1 Ceph生态系统大致分为四类2.2 Ceph架构2.2.1 三种接口文件2.3 Ceph 核心组件简介三、Ceph三种存储类型3.1 文件存储3.2 块存储3.3 对象存储3.4 分布式文件系统比较四、Ceph搭建4.1 实验环境4.2 ceph环境部署4.3 Ceph集群搭建4.4 Ceph集群管理页面安装五、配置Ceph与OpenSta...
⑤ K8s使用Ceph作为存储、监控、日常运维管理_ceph运维管理平台(1)
2401_83740189的博客
04-28 965
管理存储是管理计算的一个明显问题。PersistentVolume子系统为用户和管理员提供了一个API，用于抽象如何根据消费方式提供存储的详细信息。于是引入了两个新的API资源：PersistentVolume和PersistentVolumeClaimPersistentVolume（PV）是集群中已由管理员配置的一段网络存储。集群中的资源就像一个节点是一个集群资源。PV是诸如卷之类的卷插件，但是具有独立于使用PV的任何单个pod的生命周期。
ceph集群搭建与(文件存储块存储对象存储测试)
weixin_46942054的博客
12-22 836
环境准备 ①本地主机名解析 ②ntp时间同步 ③ssh免密登录 ④国内yum源配置 我这里用4台vm虚拟机需要上外网，三台做存储，一台做客户端，全部IP静态固定 (除client外每台最少加1个磁盘，最小5G，不用分区); 四台全部做主机名解析 [root@node1 ~]# vim/etc/hosts 添加以下段： (ip与主机名自己相对应的就行) 10.2.2.11 node1 10.2.2.12 node2 10.2.2.13 node3 10.2.2.14 client 时间同步必须做,否
云原生之深入解析K8S中Ceph的部署与功能测试
╰つ栺尖篴夢ゞ
07-17 1637
Ceph 在 k8s 中用做共享存储还是非常方便的，Ceph 是比较老牌的分布式存储系统，非常成熟并且功能也强大，支持三种模式（快存储、文件系统存储、对象存储），那么如何在 k8s 使用 ceph 呢？云原生之深入解析K8S 1.24的高可用环境部署。云原生之深入解析分布式存储系统Ceph的环境部署和实战操作。Rook 是一个开源的云原生存储编排工具，提供平台、框架和对各种存储解决方案的支持，以和云原生环境进行本地集成。
【ceph】CEPH 单活MDS主从切换流程|REPLAY
bandaoyu的note
04-16 1645
代码基于ceph nautilus版本 MDS关键概念 想要理解MDS切换过程，首先需要理清一些基本概念。 MDSMAP 包含整个ceph集群的所有mds的状态信息:fs个数、fs名称、各mds状态、数据池、元数据池信息，等等 Contains the current MDS map epoch, when the map was created, and the last time it changed. It also contains the pool for storing metad
部署Ceph分布式存储
wangshui898的专栏
05-20 1981
一、环境准备 1. 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 2. 关闭selinux setenforce 0 3. 关闭NetworkManager systemctl stop NetworkManager systemctl disable NetworkManager 4. 配置hosts cat >> /etc/hosts << 'EOF' ## Ceph Node 192.168.2.10
【ceph】ceph分布式存储MDS(各种状态、源码)
小鱼菜鸟的博客
07-22 1078
目录 1. mds存储 2. mds冷备/热备 3. mds主备切换策略 4. 节点失效机制 5. 恢复过程 6. resolve阶段的事件 7. 重建分布式缓存和锁状态 Ceph MDS States状态详解 常见状态 不太常见的或过渡状态 失败状态 状态图 MDS源码分析 compat fs 运维 up ceph xx ...
cephfs mds多活设置
b779789251的博客
07-11 1815
1.设置mds个数 ceph fs set cephfs max_mds 5 2.对目录进行设置多活 setfattr -n ceph.dir.pin -v 0 test1 do setfattr -n ceph.dir.pin -v 1 test2 setfattr -n ceph.dir.pin -v 2 test3 setfattr -n ceph.dir.pin -v 3 tes...
mds缓存配置
HHFQ的博客
04-09 1939
元数据服务器协调所有 MDS 和 CephFS 客户端之间的分布式缓存。 缓存用于改善元数据访问延迟并允许客户端安全（连贯地）改变元数据状态（例如，通过 chmod）。 MDS 释放 capabilities 和 directory entry leases 以指示客户端可以缓存哪些状态以及客户端可以执行哪些操作（例如写入文件）。 MDS 和客户端都尝试强制缓存大小。 指定 MDS 缓存大小的机制如下所述。 请注意，MDS 缓存大小不是硬限制。 MDS 始终允许客户端查找加载到缓存中的新元数据。 这是一项基
ceph 单活mds主从切换流程
jiang4357291的博客
11-30 2556
本文的所有的分析仅基于个人理解，初学ceph不久，很多地方都是浅显的认识。代码基于ceph nautilus版本。且只分析单活MDS的切换，多活MDS暂不关注 mds关键概念 想要理解MDS切换过程，首先需要理清一些基本概念。 mdsmap 包含整个ceph集群的所有mds的状态信息:fs个数、fs名称、各mds状态、数据池、元数据池信息，等等 Contains the current MD...
Ceph MDS服务无法正常删除
b779789251的博客
07-12 4235
[root@node~]# ceph -s cluster: id: f1607357-011f-4064-bcd3-51866fa71844 health: HEALTH_WARN 1 filesystem is degraded 1 filesystem has a failed mds daemon ...
cephfs如何测试文件上传
06-01
.visibility > 0.5 for landmark in right_hand_landmarks) # 检测左手是否穿戴了设备要测试CephFS文件上传，您可以执行以下步骤： 1. 首先，您需要确保已经安装了 left_hand_landmarks = [results.pose_landmarks.landmark[index] for index in INDEX_LEFT_HAND] left_hand_detectedceph-fuse软件包，并且已经挂载了CephFS文件系统。 2. 然后，创建一个本地文件 = all(landmark.visibility > 0.5 for landmark in left_hand_landmarks) # 如果两只手都，例如： ``` echo "This is a test file" > testfile.txt ``` 3. 接下来，将该文件复制到CephFS文件系统中： ``` cp testfile.txt /path/to/ceph/mount/point/ 穿戴了设备，则显示“已穿戴”标签 if right_hand_detected and left_hand_detected: cv2.putText ``` 4. 您还可以使用rados命令来将文件上传到Ceph集群： ``` rados -(image, "已穿戴", (10, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255p cephfs_data put testfile.txt /path/to/cephfs/file ``` 这将会将testfile.txt文件上传到名为cephfs_data的Ceph存储池中，并将其存储在指定的CephFS文件路径中, 0), 2) else: cv2.putText(image, "未穿戴", (10, 50), cv。 5. 最后，您可以使用ls命令来验证文件是否已成功上传： ``` ls /path/to/ceph/mount/point/ ``` 或 ``` rados -p cephfs_data ls ``` 如果2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2) # 显示图像 cv文件已成功上传，则应该能够在输出中看到该文件的名称。 请注意，上述步骤假定您2.imshow('MediaPipe Pose Detection', image) if cv2.waitKey(5) & 0xFF == 27: break 已经正确配置了CephFS文件系统，并且您具有足够的权限来上传文件。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值