Ceph 提供 NFS 服务：高效存储解决方案的终极指南！

最新推荐文章于 2025-03-13 13:56:35 发布

民工哥技术之路

最新推荐文章于 2025-03-13 13:56:35 发布

阅读量427

点赞数

文章标签： ceph

原文链接：https://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ==&mid=2247557410&idx=2&sn=ec7b705d9f3b4df360838cc5f0d8d946&chksm=e8ad48a82114ae0e78180313ffb93fc4ccc23f5e3134337e4615c6a8b9cb95f309dd00a55f37&scene=126&sessionid=0

版权

戳下方名片，关注并星标！

回复“1024”获取2TB学习资源！

👉体系化学习：运维工程师打怪升级进阶之路 4.0

— 特色专栏 —

MySQL / PostgreSQL / MongoDB

ElasticSearch / Hadoop / Redis

Kubernetes / Docker / DevOps

Kafka / RabbitMQ / Zookeeper

监控平台 / 应用与服务 / 集群管理

Nginx / Git / Tools / OpenStack

大家好，我是民工哥！

今天给大家介绍下：Ceph 提供NFS服务：高效存储解决方案！

Ceph提供nfs服务

ceph除了可以提供cephfs之外，也是可以支持nfs的，因为如果直接对外提供cephfs的话，客户端挂载比较繁琐，而提供nfs的话就非常易用了。

前期准备

检查模块

[root@ceph01 ~]# ceph mgr module ls |grep nfs
"nfs",

默认基本都是启动的，如果没有启用可以执行。

[root@ceph01 ~]# ceph mgr module enable nfs

检查是否有nfs-ganesha集群

[root@ceph01 ~]# ceph nfs cluster ls
[root@ceph01 ~]#

创建nfs服务

通过自动创建的方式

[root@ceph01 ~]# ceph nfs cluster create 1 "ceph01 ceph02"
NFS Cluster Created Successfully
[root@ceph01 ~]# ceph nfs cluster ls
1

• create 后面的1指的是集群的id，可以改为其他的
• 引号里面的ceph01,ceph02指的是在哪些节点上启动进程

创建完之后再去查看集群就会有一个了，并且显示为1，这个1不是指集群的数量，而是你刚刚给他的ID，如果你的ID指定的是其他的，那么他这里就会显示你自己指定的ID。

ceph提供的nfs的架构

ceph的nfs是有一个组件叫做nfs-ganesha，然而cephfs的是由mds组件提供的。

你客户端通过nfs的方式去挂载ceph的话，就相当于nfs-ganesha是一个翻译器，将你的nfs连接请求转换成cephfs，在你看来你挂载的是nfs，其实底层给你提供的存储的还是cephfs。

他的连接就是这样的：客户端存储请求---> nfs-ganesha--->mds。

当然也可以存储到rgw，不过这一块的适配做的不是很好，有很多功能用不了。

这样nfs服务就创建好了，但是还没有配置后端的存储。

nfs导出

nfs导出也就是给他配置后端存储。

创建cephfs

# 创建一个cephfs，如果有的话可以不做
[root@ceph01 ~]# ceph fs volume create cephfs
[root@ceph01 ~]# ceph osd pool ls
device_health_metrics
.nfs
cephfs.cephfs.meta
cephfs.cephfs.data

导出

[root@ceph01 ~]# ceph nfs export create cephfs --cluster-id 1 --pseudo-path /cephfs --fsname cephfs --path=/
{
"bind": "/cephfs",
"fs": "cephfs",
"path": "/",
"cluster": "1",
"mode": "RW"
}

这里的意思就是从cephfs中创建一个nfs，cluster-id就是之前指定的id，导出的nfs路径为/cephfs。

--fsname  #这个意思是使用哪个cephfs，我的cephfs的名字就叫cephfs
--path  #指的是cephfs的路径

客户端尝试挂载

[root@master ~]# mount -t nfs 172.16.1.20:/cephfs /mnt
[root@master ~]# df |grep mnt
172.16.1.20:/cephfs  59736064        0  59736064   0% /mnt

挂载的ip写你自己的nfs的ip，我是用的公有云创建的ceph集群，所以这是一个公网IP。

这种挂载方式就比直接挂载cephfs要方便的多了，因为如果要挂载cephfs的话我们还需要创建cephfs用户，还得授权，这种方式就不需要。

验证

我们之前说这个nfs的数据也是存到cephfs里面了，我们来挂载cephfs看看。

# 使用比较简单的授权方式，这种方式是后来更新的，较早的ceph版本可能没有这个命令
[root@ceph01 ~]# ceph fs authorize cephfs client.cephfs / rw -o ceph.client.cephfs.keyring

修改ceph.client.cephfs.keyring文件内容

# 只保留密钥部分
[root@ceph01 ~]# cat ceph.client.cephfs.keyring 
AQBTNHFmDhxSABAAqB69R7Y3Rb89LA06R0pfmw==
# 挂载
[root@ceph01 ~]# mount -t ceph 172.16.1.20:6789:/ /mnt -o name=cephfs,secretfile=./ceph.client.cephfs.keyring

cephfs写入数据

[root@ceph01 mnt]# echo hello > cephfs

nfs查看数据

[root@master mnt]# ls
cephfs
[root@master mnt]# cat cephfs
hello

可以看到，数据写入到cephfs之后nfs端也是可以看见的

高可用nfs-ganesha

ceph 内部是可以对 nfs-ganesha，是通过 haproxy+keepalived 来做的。

service_type: ingress
service_id: nfs.1# 这里写的是nfs的id
placement:
hosts:
- ceph01
- ceph02
count_per_host:1# 每个节点部署几个nfs进程
spec:
backend_service: nfs.1# 后端使用哪个
frontend_port:20490# nfs的端口号
monitor_port:9000# placement 
virtual_ip:172.16.1.100/24

frontend_port: 20490 这里默认是 2049，改成 20490 的原因是我们在部署这个之前已经部署过了 nfs，这个端口被 nfs 占用了，所以得换一个。

不仅仅是 nfs 可以部署高可用，rgw 也是可以的。