ceph对接juicefs

最新推荐文章于 2024-09-09 16:03:19 发布
最新推荐文章于 2024-09-09 16:03:19 发布
阅读量877 收藏 20
点赞数 37
文章标签： ceph 开发语言 go
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/strugglesquirrel/article/details/140962212
版权

juicefs

喜欢ceph的话欢迎关注奋斗的cepher微信公众号阅读更多好文！

在很多场景中，业务会倾向于使用成熟方便的文件存储，像本地目录、NFS、smb等等，文件存储有其应用优势，在松鼠哥的课程中对各种存储方式的利弊介绍已经很详细了，本篇我们来介绍juicefs。

ceph虽然支持文件存储cephfs，但是它的稳定性还是不太足够，而且在大规模数据场景下，可靠性还是不太行，时至今日，使用cephfs进行大量数据的文件存储，松鼠哥还是觉得要慎重~

juicefs最开始是听一些朋友介绍，据说性能彪悍，稳定性也不错，所以一直打算调研，终于，有了本篇

开始

首先是ceph的准备，松鼠哥使用ceph 16.2.14的二进制部署环境，集群是基本的S3对象存储环境，配置了zone

root@debian:~# ceph df
--- RAW STORAGE ---
CLASS    SIZE   AVAIL     USED  RAW USED  %RAW USED
hdd    60 GiB  58 GiB  1.9 GiB   1.9 GiB       3.21
TOTAL  60 GiB  58 GiB  1.9 GiB   1.9 GiB       3.21
 
--- POOLS ---
POOL                          ID  PGS   STORED  OBJECTS     USED  %USED  MAX AVAIL
device_health_metrics         31    1      0 B        7      0 B      0     19 GiB
juicefs_pool                  33   64     36 B        1   12 KiB      0     19 GiB
.rgw.root                     34   32  7.3 KiB       22  252 KiB      0     19 GiB
songshuge.rgw.log             35   32   23 KiB      306  1.9 MiB      0     19 GiB
songshuge.rgw.meta            36   32  1.3 KiB        7   72 KiB      0     19 GiB
songshuge.rgw.control         37   32      0 B        8      0 B      0     19 GiB
songshuge.rgw.buckets.non-ec  38   32      0 B        0      0 B      0     19 GiB
songshuge.rgw.buckets.index   39   32  7.7 KiB       11   23 KiB      0     19 GiB
songshuge.rgw.buckets.data    40   32  9.9 MiB        5   30 MiB   0.05     19 GiB

这个测试小集群只有3台机器，为了更贴合应用场景，松鼠哥使用另外一台非集群节点来作为juicefs的客户端节点。

对接S3

在使用juicefs对接ceph的S3前，需要在集群创建用户并在该用户下创建bucket

root@debian:~# radosgw-admin user list
[
    "test-1"
]
root@debian:~# radosgw-admin bucket list
[
    "test-bucket-pool1"
]

首先要安装一个redis，juicefs可以使用多种存储引擎来存储元数据，松鼠推荐使用redis，无他，性能好

root@debian4:~# apt install redis-server

安装完成后做一下配置，指定它的监听ip，这里是测试环境，安装一个单机的试试，如果要生产用，要考虑高可用

root@debian4:~# grep 'bind' /etc/redis/redis.conf |grep -v '#'
bind 192.168.56.122 ::1
root@debian4:~# redis-cli -h debian4 ping
PONG

redis准备好之后，接下来在节点安装juicefs，使用官方推荐的一键安装

root@debian4:~# apt install curl
root@debian4:~# curl -sSL https://d.juicefs.com/install | sh -

安装完成后，格式化bucket，在这个环境中，使用方式为

root@debian4:~# juicefs format --storage s3 \
  --bucket http://test-bucket-pool1.192.168.56.130:7480 \
  --access-key KWSCE4FOTTP0PV3LSFUV \
  --secret-key ZhIFTSbuO3QEh95wMJ08N1XFpUIVsZFXKvpQ84hq \
  redis://192.168.56.122/1 \
  myjfs
2024/05/24 09:41:26.390229 juicefs[3253] <INFO>: Meta address: redis://192.168.56.122/1 [interface.go:497]
2024/05/24 09:41:26.390987 juicefs[3253] <WARNING>: AOF is not enabled, you may lose data if Redis is not shutdown properly. [info.go:84]
2024/05/24 09:41:26.391108 juicefs[3253] <INFO>: Ping redis latency: 38.159µs [redis.go:3600]
2024/05/24 09:41:26.391568 juicefs[3253] <INFO>: Data use s3://test-bucket-pool1/myjfs/ [format.go:471]
2024/05/24 09:41:26.529414 juicefs[3253] <INFO>: Volume is formatted as {
  "Name": "myjfs",
  "UUID": "32bdbc73-0765-4ee6-9dba-6019f1731188",
  "Storage": "s3",
  "Bucket": "http://test-bucket-pool1.192.168.56.130:7480",
  "AccessKey": "KWSCE4FOTTP0PV3LSFUV",
  "SecretKey": "removed",
  "BlockSize": 4096,
  "Compression": "none",
  "EncryptAlgo": "aes256gcm-rsa",
  "KeyEncrypted": true,
  "TrashDays": 1,
  "MetaVersion": 1,
  "MinClientVersion": "1.1.0-A",
  "DirStats": true
} [format.go:508]
  • –storage s3 使用后端存储为S3
  • –bucket 指定使用的bucket和endpoint，这里就是rgw的ip地址和端口，格式为bucket.endpoint:port
  • –access-key和–secret-key
  • redis://192.168.56.122/1 指定redis，刚才已经试过了，redis没问题
  • myjfs 指定将该bucket格式化为myjfs的文件存储

执行后正常退出，显示已经成功，那么格式化就好了，接下来是挂载

root@debian4:~# juicefs mount --background redis://192.168.56.122/1 ~/jfs
2024/05/24 09:42:58.028457 juicefs[3268] <INFO>: Meta address: redis://192.168.56.122/1 [interface.go:497]
2024/05/24 09:42:58.029364 juicefs[3268] <WARNING>: AOF is not enabled, you may lose data if Redis is not shutdown properly. [info.go:84]
2024/05/24 09:42:58.029745 juicefs[3268] <INFO>: Ping redis latency: 194.984µs [redis.go:3600]
2024/05/24 09:42:58.031031 juicefs[3268] <INFO>: Data use s3://test-bucket-pool1/myjfs/ [mount.go:605]
2024/05/24 09:42:58.049580 juicefs[3268] <INFO>: Disk cache (/var/jfsCache/32bdbc73-0765-4ee6-9dba-6019f1731188/): capacity (102400 MB), free ratio (10%), max pending pages (15) [disk_cache.go:114]
2024/05/24 09:42:58.066535 juicefs[3268] <INFO>: Create session 2 OK with version: 1.1.2+2024-02-04.8dbd89a [base.go:494]
2024/05/24 09:42:58.109605 juicefs[3268] <INFO>: Prometheus metrics listening on 127.0.0.1:9567 [mount.go:160]
2024/05/24 09:42:58.109678 juicefs[3268] <INFO>: Mounting volume myjfs at /root/jfs ... [mount_unix.go:269]
2024/05/24 09:42:58.560840 juicefs[3268] <INFO>: OK, myjfs is ready at /root/jfs [mount_unix.go:48]

最后显示myjfs is ready at /root/jfs ，说明挂载成功了，可以在本地文件系统查看

root@debian4:~# df -h
Filesystem      Size  Used Avail Use% Mounted on
JuiceFS:myjfs   1.0P   10M  1.0P   1% /root/jfs

测试了一下，拷贝数据进去没有问题。

这里有个小问题，挂载目录后，可用大小显示为1PiB，实际上后端没有这么大的空间，应该是默认写的大小，后端对象存储是不能显式确定可用容量的，这个问题在社区群问过，确认这个是默认值，而且可以配置，比如后端实际10PiB，可以在format的时候指定显示的容量大小，这个设计合不合理，就看个人理解了。

对接librados

既然我们都玩转ceph了，走一层s3似乎没道理，多此一举，要是能够直接操作rados，岂不是更high！

实际上，juicefs支持通过librados直接操作ceph的rados，因为本质上ceph的rados就是一个对象存储，但是，要直接使用juicefs对接rados，现有的二进制包不支持，需要自己重新编译，所幸难度不大，首先下载源代码，这里松鼠哥的系统是Debian Buster 10.13，使用juicefs v1.1.2版本即可

root@debian4:~# git clone https://github.com/juicedata/juicefs.git -b v1.1.2

接下来，配置清华源，然后安装开发包，主要是要用到它的头文件

root@debian4:~# apt install software-properties-common
root@debian4:~# wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add -
root@debian4:~# apt-add-repository 'deb https://mirrors.tuna.tsinghua.edu.cn/ceph/debian-octopus/ buster main'
root@debian4:~# apt update
root@debian4:~# apt-get install librados-dev

当然，少不了go的环境，这里直接下载go的二进制然后配置一下路径，juicefs的编译对go版本有要求，需要1.20以上，另外gcc也要5.4以上

root@debian4:~# wget https://dl.google.com/go/go1.20.4.linux-amd64.tar.gz
root@debian4:~# tar -C /usr/local -xzf go1.20.4.linux-amd64.tar.gz
root@debian4:~# echo export PATH=$PATH:/usr/local/go/bin | sudo tee -a /etc/profile
root@debian4:~# echo export PATH=$PATH:/usr/local/go/bin >> ~/.profile
root@debian4:~# source ~/.profile
root@debian4:~# go version
go version go1.20.4 linux/amd64
root@debian4:~# gcc --version
gcc (Debian 8.3.0-6) 8.3.0

在开始前，还有个步骤，juicefs在编译时会下载很多的其他代码，这些代码如果跑到外面去下载就特别慢，因此在开始前要对go进行加速器的设置，改为国内的加速器

root@debian4:~# go env -w GOPROXY=https://goproxy.cn,direct

环境没问题，那就进入juicefs目录开始编，我们只需要juicefs.ceph，所以直接编

root@debian4:~# cd juicefs-1.1.2/
root@debian4:~/juicefs-1.1.2# make juicefs.ceph

即便松鼠哥用的是很挫的虚拟机，编译速度也挺快的，算上下载，10分钟就好了。

接下来使用这个编译好的juicefs.ceph二进制进行格式化，参数和格式为

root@debian4:~# juicefs format --storage=ceph \
  --bucket=ceph://juicefs_pool \
  --access-key=ceph \
  --secret-key=client.admin \
  redis://192.168.56.122/2 \
  ceph-volume
2024/05/24 10:08:31.246444 juicefs[3382] <INFO>: Meta address: redis://192.168.56.122/2 [interface.go:497]
2024/05/24 10:08:31.256756 juicefs[3382] <WARNING>: AOF is not enabled, you may lose data if Redis is not shutdown properly. [info.go:84]
2024/05/24 10:08:31.257017 juicefs[3382] <INFO>: Ping redis latency: 67.558µs [redis.go:3600]
2024/05/24 10:08:31.281568 juicefs[3382] <INFO>: Data use ceph://juicefs_pool/ceph-volume/ [format.go:471]
2024/05/24 10:08:31.632920 juicefs[3382] <INFO>: Volume is formatted as {
  "Name": "ceph-volume",
  "UUID": "1b299ee3-2592-40a6-9196-5ad2e3109b5e",
  "Storage": "ceph",
  "Bucket": "ceph://juicefs_pool",
  "AccessKey": "ceph",
  "SecretKey": "removed",
  "BlockSize": 4096,
  "Compression": "none",
  "EncryptAlgo": "aes256gcm-rsa",
  "KeyEncrypted": true,
  "TrashDays": 1,
  "MetaVersion": 1,
  "MinClientVersion": "1.1.0-A",
  "DirStats": true
} [format.go:508]
  • –storage=ceph表示用的librados
  • –bucket 这里按照指定的格式填入使用的存储池，ceph://POOL
  • –access-key和–secret-key 这里就是指定ceph的用户，不是s3用户是ceph用户
  • 其他的与s3无异

讲道理，加一些新的参数是不难的，复用参数这种操作一言难尽=.=

格式化正常返回，没有报错，没问题，接下来是挂载

root@debian4:~/juicefs-1.1.2# ./juicefs.ceph mount --background  redis://192.168.56.122/2 ~/rados_jfs
2024/05/24 10:12:26.775101 juicefs[3430] <INFO>: Meta address: redis://192.168.56.122/2 [interface.go:497]
2024/05/24 10:12:26.775732 juicefs[3430] <WARNING>: AOF is not enabled, you may lose data if Redis is not shutdown properly. [info.go:84]
2024/05/24 10:12:26.775961 juicefs[3430] <INFO>: Ping redis latency: 141.329µs [redis.go:3600]
2024/05/24 10:12:26.792678 juicefs[3430] <INFO>: Data use ceph://juicefs_pool/ceph-volume/ [mount.go:605]
2024/05/24 10:12:26.793280 juicefs[3430] <INFO>: Disk cache (/var/jfsCache/1b299ee3-2592-40a6-9196-5ad2e3109b5e/): capacity (102400 MB), free ratio (10%), max pending pages (15) [disk_cache.go:114]
2024/05/24 10:12:27.303125 juicefs[3430] <INFO>: OK, ceph-volume is ready at /root/jfs [mount_unix.go:48]

很顺利，看了一下本地文件系统，挂载没问题

root@debian4:~/juicefs-1.1.2# df -h
Filesystem           Size  Used Avail Use% Mounted on
JuiceFS:ceph-volume  1.0P     0  1.0P   0% /root/rados_jfs
JuiceFS:myjfs        1.0P   10M  1.0P   1% /root/jfs

测试了一下拷贝数据进去，没问题

最后，如果要卸载juicefs挂载的目录，直接使用本地文件系统的unmount /root/jfs即可。

总结

相比于cephfs，由于juicefs可以使用高效的源数据库，比如redis，其性能比起cephfs更高，也更灵活，由于松鼠哥的环境是虚拟机的测试环境，所以没有进行性能测试，只是简单地完成了功能测试，都挺顺利的。

fs在很多场景中应用广泛，本篇初步接触juicefs，后续将继续进行性能和稳定性及场景的测试，松鼠哥也想进一步了解这个juicefs的能力，以评估其生产环境的能力。
喜欢ceph的话欢迎关注奋斗的cepher微信公众号阅读更多好文！

奋斗的松鼠
关注
  • 37
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
juicefs对接K8S和ceph集群对象存储作为SC后端存储
cloud_engineer的博客
11-05 1306
juicefs对接K8S和ceph集群作为SC后端存储，使K8S集群可以使用ceph rgw资源作为PVC供pod使用。
Openstack平台Cinder后端存储对接Ceph
mo666777的博客
12-30 729
Opentack平台Cinder后端存储对接Ceph
JuiceFS、Ceph 和 MinIO 结合使用
亦碎流年的博客
07-15 1344
将 JuiceFS、Ceph 和 MinIO 结合使用，提供高性能和高可用性的分布式存储解决方案，适用于大数据处理、人工智能训练等需要大量存储和高效访问的应用场景。结合 Ceph 的强大存储能力、JuiceFS 的高效文件系统和 MinIO 的对象存储接口，提供灵活的存储解决方案。
存算分离实践：JuiceFS 在中国电信日均 PB 级数据场景的应用
JuiceFS的博客
03-17 1146
在自研的 Hadoop 2 和 Hadoop 3 中都涉及了这项工作，最初是采用亚马逊提交的 S3 代码，国内的阿里云、腾讯云和华为云也分别推出了自己的实现并提交到 Hadoop 社区中，但这些方案缺乏对元数据的加速支持。在统一访问层，将提供一套统一的管理工具，任务的提交都将通过任务网关，并通过元数据打通多个集群。而现在的架构则是存储计算分离，将更多的磁盘用于对象存储，建立了一个对象存储池，以及相应的元数据加速层，所有的HDFS访问都会通过元数据加速层访问底层的对象存储层。
分布式文件系统：JuiceFS 技术比对
GIS摆渡人
06-26 1484
S3QL采用对象存储 + SQLite 的存储结构，数据分块存储既能提高文件的读写效率，也能降低文件修改时的资源开销。贴心的提供了快照、数据去重、数据保持等高级功能，加之默认的数据压缩和数据加密，让 S3QL 非常适合个人在云存储上用较低的成本、更安全的存储文件。JuiceFS支持对象存储、HDFS、WebDAV、本地磁盘作为数据存储引擎，支持 Redis、TiKV、MySQL、MariaDB、PostgreSQL、SQLite 等流行的数据作为元数据存储引擎。
AI 场景存储优化：云知声超算平台基于 JuiceFS 的存储实践
JuiceFS的博客
06-29 1328
云知声是一家专注于语音及语言处理的技术公司。**Atlas 超级计算平台是云知声的计算底层基础架构，为云知声在 AI 各个领域（如语音、自然语言处理、视觉等）的模型迭代提供训练加速等基础计算能力。**Atlas 平台深度学习算力超过 57 PFLOPS（5.7 亿亿次／秒，是的你没有看错，是亿亿次]），深度学习算力是衡量一个 AI 平台计算性能的核心指标。除了满足公司内部的业务需求，平台也为外部企业和院校机构提供定制化计算服务。本文主要分享云知声 Atlas 超算平台（以下简称 Atlas）的存储建设历程以
云知声: 基于 JuiceFS 的超算平台存储实践
JuiceFS的博客
12-22 1049
从 2017 年到 2021 的时候，我们用 Lustre 也是比较稳定的，集群存储量少于 50% 的时候，软件的稳定性都是比较高的。Lustre 作为老牌 HPC 领域的存储系统，为许多全球最大的超算系统提供动力，具有多年的生产环境经验。其具有符合 POSIX 标准、支持各种高性能低时延的网络，允许 RDMA 访问的优点，适用于传统 HPC 领域的高性能计算，跟深度学习的接口是契合的，所有的业务都是不需要做代码修改。但是也有一些缺点：第一，Lustre 无法支持云原生 CSI Driver。
openstack-超融合基础架构之ceph对接openstack glance/nova/cinder/cinder-backup
大白菜的博客
05-03 2681
openstack-miatka超融合基础架构之ceph对接openstack glance/nova/cinder/cinder-backup OpenStack项目中Glance、Nova、Cinder、Swift等服务是项目中存储的服务，服务种类的不同也决定着提供服务的方式不同，在OpenStack的设计中Glance被用于镜像资源的存储，称为镜像服务。Nova则用于虚拟机实例操作和实例资...
ceph对接openstack
09-01
要将Ceph对接到OpenStack中，你需要进行以下步骤： 1. 安装和配置Ceph：首先，你需要在Ceph集群中部署和配置Ceph存储。你可以参考Ceph官方文档来完成这一步骤。 2. 配置Cinder后端：在OpenStack中，你可以使用...
Ceph对接Openstack
学徒人生
01-05 9375
技术堆栈 Ceph的一个使用场景是结合Openstack来提供云存储服务，Openstack到Ceph之间的调用堆栈就是下面这个结构：    三大模块 Openstack对接Ceph，有3大模块可以使用Ceph: 镜像 Openstack的Glance组件提供镜像服务，可以将Image直接存储在Ceph中。 操作系统盘 Openstack的Nova组件提供计算服务，
JuiceFS 在火山引擎边缘计算的应用实践
JuiceFS的博客
02-17 555
火山引擎边缘云是以云计算基础技术和边缘异构算力结合网络为基础，构建在边缘大规模基础设施之上的云计算服务，形成以边缘位置的计算、网络、存储、安全、智能为核心能力的新一代分布式云计算解决方案。
JuiceFS 在数据湖存储架构上的探索
JuiceFS的博客
05-05 2692
大家好，我是来自 Juicedata 的高昌健，今天想跟大家分享的主题是《JuiceFS 在数据湖存储架构上的探索》，以下是今天分享的提纲： 首先我会简单的介绍一下大数据存储架构变迁以及它们的优缺点，然后介绍什么是 JuiceFS，其次的话会再重点介绍一下关于 JuiceFS 和数据湖的一些结合和关联，最后会介绍一下 JuiceFS 和数据湖生态的集成。 大数据存储架构变迁 纵观整个大数据存储架构的变迁，可以看到有非常明显的三个阶段：第一个阶段就是从最早的 Hadoop、Hive 等项目诞生之后，有了数据仓
如何使用JuiceFS在云上优化Kylin 4.0的存储性能？
趣味科技v
12-11 436
Apache Kylin 4.0 采用 Spark 作为构建引擎以及 Parquet 作为存储，让云上部署和伸缩变得更容易，然而使用云上的对象存储相较于使用本地磁盘的 HDFS，可能存在...
历时四年，分布式文件系统JuiceFS正式开源
趣味科技v
01-12 664
云原生分布式文件系统 JuiceFS 正式开源1月11日，Juicedata 果汁数据科技官方账号宣布 JuiceFS 正式开源，这是一个云原生分布式文件系统，经过了四年的持续迭代和累计...
百亿小文件存储，JuiceFS 在自动驾驶行业的实践
JuiceFS的博客
11-02 424
自动驾驶是最近几年的热门领域，专注于自动驾驶技术的创业公司、新造车企业、传统车厂都在这个领域投入了大量的资源，推动着 L4、L5 级别自动驾驶体验能尽早进入我们的日常生活。 自动驾驶技术实现的核心环节是自动驾驶模型的训练，训练数据是由汽车实际采集回来的真实道路驾驶视频，数据规模有数 PB 到数十 PB 之多。在模型训练之前，先要对这些原始视频进行处理，截取其中的关键帧保存为照片。然后再由专业数据标注团队在图片上标记关键信息，比如红绿灯、道路标记等。最终经过标记的数十亿图片和标记数据成为真正要「喂给」训练框架
初探云原生下的AI应用文件系统-JuiceFS
tiduyun的博客
08-19 802
导读：本文由地质科技资深开发工程师屈骏对撰写，主要在云原生环境下介绍大数据，下文件存储提出的挑战和需求，在这样的背景下产生的JuiceFS的目标和架构设计，以及在大数据、人工智能等方案业务领域中的价值与收益。 前言 Kubernetes已经成为事实的应用编排标准，越来越多的应用在不断的向云原生靠拢，实现弹性伸缩、故障自愈等特性，其中还包括了大数据、人工智能等应用，等应用的使用大规模的非结构，在传统场景下已经有自己的解决方案，比如 HDFS、对象存储，然而当它们迁移到云端时，对架构也提出了新的挑战
移动云使用 JuiceFS 支持 Apache HBase 增效降本的探索
JuiceFS的博客
06-01 1082
本文主要介绍了移动云使用 JuiceFS 接入对象存储优化 Apache HBase 的方案选型思考、验证，供大家参考。
ceph-radosgw 手动安装教程以及安装问题&解决办法
最新发布
hejingdong123的博客
09-09 557
cehp 对象存储网关 手动安装教程 handle_auth_bad_method server
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

奋斗的松鼠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值