JuiceFS-开源分布式文件系统入门（一篇就够了）

最新推荐文章于 2024-03-26 09:48:10 发布
最新推荐文章于 2024-03-26 09:48:10 发布
阅读量3.9k 收藏 20
点赞数 3
分类专栏： # Hadoop生态圈 文章标签： 大数据 分布式文件系统 JuiceFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20042935/article/details/127663816
版权

文章目录

01 引言

在这里插入图片描述
JuiceFS 是一款开源的分布式文件系统，它为云环境设计，兼容 POSIX、HDFS 和 S3 协议的分布式文件系统。

02 JuiceFS为何物？

JuiceFS 是一款面向云原生设计的高性能共享文件系统，在 Apache 2.0 开源协议下发布。

2.1 JuiceFS的特点

2.1.1 兼容性

JuiceFS提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写。

2.1.2 丰富的API

JuiceFS 提供了丰富的 API，适用于各种形式数据的管理、分析、归档、备份，可以在不修改代码的前提下无缝对接大数据、机器学习、人工智能等应用平台，为其提供海量、弹性、低价的高性能存储。

2.1.3 特性总结

特性描述
POSIX 兼容本地文件系统一样使用，无缝对接已有应用，无业务侵入性
HDFS 兼容完整兼容 HDFS API，提供更强的元数据性能
S3 兼容提供 S3 网关实现 S3 协议兼容的访问接口
云原生通过 Kubernetes CSI驱动 轻松地在 Kubernetes 中使用 JuiceFS
分布式设计同一文件系统可在上千台服务器同时挂载，高性能并发读写，共享数据
强一致性确认的文件修改会在所有服务器上立即可见，保证强一致性
强悍性能毫秒级延迟，近乎无限的吞吐量（取决于对象存储规模）
数据安全支持传输中加密（encryption in transit）和静态加密（encryption at rest）
文件锁支持 BSD 锁（flock）和 POSIX 锁（fcntl）
数据压缩支持 LZ4 和 Zstandard 压缩算法，节省存储空间

2.2 不同的使用场景举例

场景一：像本地磁盘一样使用

# 格式化JuiceFS文件系统
> juicefs format redis://your-redis-host:6379/1 myjfs

# 挂载JuiceFS文件系统
> juicefs mount -d redis://your-redis-host:6379/1 /mnt/juicefs

# 检查挂载点状态
> df -h /mnt/juicefs
Filesystem      Size   Used  Avail Capacity iused    ifree %iused  Mounted on
JuiceFS:myjfs  1.0Pi    0Bi  1.0Pi     0%       0 10485760    0%   /mnt/juicefs

#  从home目录挂载数据集到JuiceFS
> cp -r ~/dataset /mnt/juicefs/

场景二：应用开发简单，无需SDK

# Python 例子
path = '/mnt/juicefs/dataset/days.txt'
days_file = open(path, 'r')
days = days_file.read()

new_path = '/mnt/juicefs/new_days.txt'
new_days = open(new_path, 'w')

title = 'Days of the Week\n'
new_days.write(title)
print(title)

new_days.write(days)
print(days)

days_file.close()
new_days.close()

场景三：最简单，最适合K8S PV

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: web-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 10Pi
  storageClassName: juicefs-sc
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-run
spec:
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
        - name: nginx
          image: linuxserver/nginx
          ports:
            - containerPort: 80
          volumeMounts:
            - mountPath: /config
              name: web-data
      volumes:
        - name: web-data
          persistentVolumeClaim:
            claimName: web-pvc

> kubectl get sc
NAME                 PROVISIONER                RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
juicefs-sc           csi.juicefs.com            Retain          Immediate           false                  88m

场景四：完全兼容 HDFS，使用方法也一样

# Shell
> hadoop fs -ls jfs://myjfs

# Hive
CREATE TABLE IF NOT EXISTS person
(
  name STRING,
  age INT
) LOCATION 'jfs://myjfs/tmp/person';

场景五：通过 S3 API 访问 JuiceFS

# 为JuiceFS文件系统开启S3网关
> juicefs gateway redis://localhost:6379/1 localhost:9000

# 通过AWS命令行连接访问JuiceFS文件系统
> aws --endpoint-url http://localhost:9000 s3 ls s3://myjfs

03 JuiceFS技术架构

首先贴出JuiceFS官网的技术架构图：
在这里插入图片描述

3.1 JuiceFS 的三个技术层

从上图，我们可以看到JuiceFS分为了三层，从上往下依次为：

分类描述
Client（JuiceFS 客户端）协调对象存储和元数据存储引擎，以及 POSIX、Hadoop、Kubernetes CSI Driver、S3 Gateway 等文件系统接口的实现
Metada Engine（元数据引擎）存储数据对应的元数据（metadata）包含文件名、文件大小、权限组、创建修改时间和目录结构，支持 Redis、MySQL、TiKV 等多种引擎；
Data Storage（数据存储）存储数据本身，支持本地磁盘、公有云或私有云对象存储、HDFS 等介质；

这里主要讲下JuiceFS在 Client客户端层面 的文件系统接口的技术实现：

  • 通过 FUSE，JuiceFS 文件系统能够以 POSIX 兼容的方式挂载到服务器，将海量云端存储直接当做本地存储来使用；
  • 通过 Hadoop Java SDK，JuiceFS 文件系统能够直接替代 HDFS，为 Hadoop 提供低成本的海量存储；
  • 通过 Kubernetes CSI Driver，JuiceFS 文件系统能够直接为 Kubernetes 提供海量存储；
  • 通过 S3 Gateway，使用 S3 作为存储层的应用可直接接入，同时可使用 AWS CLI、s3cmd、MinIO client 等工具访问 JuiceFS 文件系统；
  • 通过 WebDAV Server，使用 HTTP 协议接入 JuiceFS 并直接操作其中的文件。

3.2 JuiceFS 如何存储文件

任何存入 JuiceFS 的文件都会被拆分成固定大小的 “Chunk”（默认的容量上限是 64 MiB）

  1. 每个 Chunk 由一个或多个 “Slice” 组成，Slice 的长度不固定，取决于文件写入的方式；
  2. 每个 Slice 又会被进一步拆分成固定大小的 “Block”（默认为 4 MiB）；
  3. 最后，这些 Block 会被存储到对象存储；
  4. 同时，JuiceFS 会将每个文件以及它的 Chunks、Slices、Blocks 等元数据信息存储在元数据引擎中。

在这里插入图片描述
文件最终会被拆分成 Chunks、Slices 和 Blocks 存储在对象存储，存储桶中只有一个 chunks 目录和一堆数字编号的目录和文件，如下图：
在这里插入图片描述

04 JuiceFS实战

step1: 客户端安装

去Github下载最新的客户端：https://github.com/juicedata/juicefs/releases

注意版本与操作系统的对应关系如下：

版本系统
juicefs-x.x.x-darwin-amd64.tar.gz面向 Intel 芯片的 macOS 系统
juicefs-x.x.x-darwin-arm64.tar.gz面向 M1 系列芯片的 macOS 系统
juicefs-x.x.x-linux-amd64.tar.gz面向 x86 架构 Linux 发行版
juicefs-x.x.x-linux-arm64.tar.gz面向 ARM 架构的 Linux 发行版
juicefs-x.x.x-windows-amd64.tar.gz面向 x86 架构的 Windows 系统
juicefs-hadoop-x.x.x-amd64.jar面向 x86 架构的 Hadoop Java SDK（同时支持 Linux、macOS 及 Windows 系统）

如果assets资源文件里面没有内容，加载不出来，可以通过来查询下载资源的地址：https://api.github.com/repos/juicedata/juicefs/releases/latest

在这里插入图片描述

当然也可以使用命令安装，会根据硬件架构自动下载安装最新版 JuiceFS 客户端：

curl -sSL https://d.juicefs.com/install | sh -

在这里插入图片描述
下载完成后，解压，使用命令：

juicefs version

在这里插入图片描述
可以看到已经安装好了。

step2: 创建文件系统

创建名为 miniofs 的文件系统，使用 Redis 的 1 号数据库存储元数据：

juicefs format \
    --storage minio \
    --bucket http://endpoint地址:端口/rtc \
    --access-key minio的access-key \
    --secret-key minio的secret-key \
    "redis://:redis密码@redis地址:redis端口/数据库编号" \
    miniofs

在这里插入图片描述

在Redis数据库，可以看到key为settings的内容如下：
在这里插入图片描述

同时登录MinIO，在buck1桶下，可以看到创建了一些目录：
在这里插入图片描述

step3: 挂载文件系统

我们可以挂载文件目录到本地的桌面的data目录（如果提示没有权限，建议命令前加上sudo）：

juicefs mount  "redis://:redis密码@redis地址:redis端口/数据库编号" /桌面地址/data

在这里插入图片描述
可以看到报错了，提示：

juicefs[89168] : fuse: fuse: no FUSE mount utility found [mount_unix.go:184]

这是由于系统没有安装FUSE 模块模块，所以需要下载安装，macOS系统下载地址：https://osxfuse.github.io/

安装好后，继续执行命令，也报错了，提示：

juicefs[92350] : The mount point is not ready in 10 seconds, exit it [mount_unix.go:56]

解决方式，打开安全性与隐私，解锁后，点击下图红框的运行。
在这里插入图片描述

继续执行命令，可以看到挂载成功了：
在这里插入图片描述

step4: 开始使用

详细使用参考：https://www.juicefs.com/docs/zh/community/guide/sync/

当JuiceFS挂载好之后，我们可以正式的使用JuiceFS了，下面举个例子，使用同步命令，把MinIO里面的内容同步到本地的桌面的data目录，命令如下：

juicefs sync [command options] 源端地址 目的端地址

MinIO的地址格式为： minio://[ACCESS_KEY:SECRET_KEY[:TOKEN]@]ENDPOINT/BUCKET[/PREFIX]

示例如下：
在这里插入图片描述

我们打开指定的同步目录的上一级，可以看到产生了两个文件：
在这里插入图片描述
进去datauser看（其中user是桶下面的根目录名称），可以看到数据下载下来了。
在这里插入图片描述
进入dataminiofs看看，可以看到元数据也同步下来了：
在这里插入图片描述

对应MinIO桶的根目录下也有两个文件夹：
在这里插入图片描述

05 总结

5.1 命令总结

详情参考：https://www.juicefs.com/docs/zh/community/command_reference

上面举例的是只使用了JuiceFS的同步（sync）命令，如果想要知道更多的JuiceFS相关的命令，可以使用--help来搜索，整理如下：

用法：juicefs [全局可选参数] command [命令选项] [命令参数...]

分类命令描述
全局可选参数–verbose, --debug, -v允许 debug 日志 (默认: false)
–quiet, -q仅展示告警和错误 (默认: false)
–trace允许 trace 日志 (默认: false)
–no-agent禁止 pprof (:6060) 和 gops (:6070)代理 (默认: false)
–pyroscope valuepyroscope地址
–no-color禁止打印有颜色 (默认: false)
–help, -h显示帮助 (默认: false)
–version, -V打印版本 (默认: false)
命令选项format格式化目录卷
config修改目录卷配置
destroy销毁已存在的目录卷
gc数据存储中对象的垃圾收集器
fsck检查卷的一致性
dump将元数据转储到JSON文件中
load从以前转储的JSON文件加载元数据
version展示版本
status显示卷状态
stats显示juicefs的实时性能统计信息
profile显示在JuiceFS中完成的操作分析
info显示路径或索引节点的内部信息
mount挂载卷
umount卸载卷
gateway启动一个兼容s3的网关
webdav启动WebDAV服务器
bench在路径上运行基准测试
objbench在对象存储上运行基准测试
warmup为目标目录/文件构建缓存
rmr递归删除目录
sync两个对象存储之间的同步

5.2 常见错误总结

常见的错误，官网已经记录下来了，可以参考：https://www.juicefs.com/docs/zh/community/faq/

5.3 更多的使用案例

可以参考：

06 文末

本文主要讲解了JuiceFS的一些概念、架构以及实操的案例，希望能帮助到大家，谢谢大家的阅读，本文完！

杨林伟
关注
  • 3
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
juicefs：JuiceFS是基于Redis和S3构建的分布式POSIX文件系统
02-21
JuiceFS是基于和对象存储（例如Amazon S3）构建的开源POSIX文件系统，针对云本机环境进行了设计和优化。 通过使用广泛采用的Redis和S3作为持久性存储，JuiceFS可以用作无状态中间件，以使许多应用程序轻松共享数据。 突出的功能是： 完全兼容POSIX ：JuiceFS是完全兼容POSIX的文件系统。 现有的应用程序可以直接使用它。 请参阅下面的。 出色的性能：延迟可以低至几毫秒，并且吞吐量可以扩展到几乎无限。 请参阅下面的。 Cloud Native ：通过利用云对象存储，您可以扩展存储和独立计算（也称为分解存储和计算架构）。 共享：JuiceFS是一个共享文件存储，可以由许多客户端读取和写入。 全局文件锁：JuiceFS支持BSD锁（flock）和POSIX记录锁（fcntl）。 数据压缩：默认情况下，JuiceFS使用压缩所有数据，也可以使用 。
【JuiceFS】理解juicefs缓存
metaopen的博客
12-04 1063
对于一个由对象存储和数据库组合驱动的文件系统，缓存是本地客户端与远端服务之间高效交互的重要纽带。读写的数据可以提前或者异步载入缓存，再由客户端在后台与远端服务交互执行异步上传或预取数据。相比直接与远端服务交互，采用缓存技术可以大大降低存储操作的延时并提高数据吞吐量。JuiceFS 提供包括元数据缓存、数据读写缓存等多种缓存机制。【学会思考】上面我们知道了缓存的优势，为什么要引入缓存。还要考虑我们的应用场景 ，真的需要缓存吗？缓存提升性能的前提是什么？
探索ProjectSend：一款强大的开源文件分享和客户端管理平台
最新发布
gitblog_00029的博客
03-26 395
探索ProjectSend：一款强大的开源文件分享和客户端管理平台 项目地址:https://gitcode.com/projectsend/projectsend 项目简介 ProjectSend 是一个免费且开源的文件共享系统，专为需要在团队之间安全地管理和分发文件的企业和组织设计。它允许管理员创建项目，将用户分配到这些项目中，并仅限于他们有权访问的文件。该项目的目标是提供一种简单、可自定义的...
从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储
JuiceFS的博客
05-10 784
Gentoo Linux 是一个较为小众的 Linux 发行版，具有几乎无限制的适应性特性，是一个原发行版。Gentoo Linux 采用滚动更新的方式，所有软件包都直接从社区中获取二进制包，我们则通过源代码构建我们所需的软件包。Gentoo Linux 有一个强大的包管理器，使用它也会带来很多便利，也同时存在一些问题。比如，滚动更新的速度非常快，但对于服务器来说，可能存在一定的不稳定性。
千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略
2401_82469710的博客
03-01 908
2023 年 9 月，AI 领域的权威基准评测 MLPerf 推出了 Storage Benchmark。该基准测试通过模拟机器学习 I/O 负载的方法，在不需要 GPU 的情况下就能进行大规模的性能压测，用以评估存储系统的在 AI 模型训练场景的适用性。
JuiceFS 用户必备的 6 个技巧
JuiceFS的博客
11-22 224
随着大数据、AI 技术的发展，越来越多的企业、团队和个人开始使用 JuiceFS，本文整理了 6 个超实用的 JuiceFS 技巧，帮助大家提升 JuiceFS 的管理效率。
JuiceFS产品介绍和客户案例.pdf
03-03
JuiceFS 是一个云原生分布式⽂件系统 非结构化数据归档、备份、共享、分析一站式存储服务 官网https://juicefs.com
分布式文件系统：JuiceFS 技术比对
GIS摆渡人
06-26 1204
S3QL采用对象存储 + SQLite 的存储结构，数据分块存储既能提高文件的读写效率，也能降低文件修改时的资源开销。贴心的提供了快照、数据去重、数据保持等高级功能，加之默认的数据压缩和数据加密，让 S3QL 非常适合个人在云存储上用较低的成本、更安全的存储文件。JuiceFS支持对象存储、HDFS、WebDAV、本地磁盘作为数据存储引擎，支持 Redis、TiKV、MySQL、MariaDB、PostgreSQL、SQLite 等流行的数据作为元数据存储引擎。
分布式文件系统：JuiceFS 技术架构
GIS摆渡人
06-26 466
，而是在新分配或者已有 Slice 中进行写入，以新 Block 的形式上传至对象存储，然后修改对应文件的元数据，在 Chunk 的 Slice 列表中追加新 Slice。目录和一堆数字编号的目录和文件，不必惊慌，这正是经过 JuiceFS 拆分存储的数据块。与传统文件系统只能使用本地磁盘存储数据和对应的元数据的模式不同，JuiceFS 会将数据格式化以后存储在对象存储（云存储），同时会将文件的元数据存储在专门的元数据服务中，这样的架构让 JuiceFS 成为一个强一致性的高性能分布式文件系统。
JuiceFS
喝醉酒的小白
05-15 857
数据丢失或损坏：由于 JuiceFS 还处于 Beta 版本，因此在某些极端情况下，可能会出现数据丢失或损坏的情况。JuiceFS 是一个分布式文件系统，它可能会在运行过程中产生大量的日志信息，如果不及时清理，可能会导致目录占满。定期清理日志：可以使用一些日志清理工具，如 logrotate 等，定期清理 JuiceFS 的日志文件，避免日志文件占满目录。调整日志路径：可以将 JuiceFS 的日志路径设置到单独的目录下，避免日志文件占满 JuiceFS 的数据目录。挂载文件系统到本地计算机或云服务器。
1、关于JuiceFS整合MinIO的解析（分布式文件系统）
分享java学习路上的一些笔记，不足之处多多见谅。
10-02 797
一个分布式文件系统，JuiceFS 会将数据格式化以后存储在对象存储，同时会将文件的元数据存储在元数据引擎。JuiceFS 采用多引擎设计，目前已支持 Redis、TiKV、MySQL/MariaDB、PostgreSQL、SQLite 等作为元数据服务引擎。
大数据存储及分层实践-1-1 JuiceFS - 为云而生的分布式文件系统.zip
05-30
大数据存储及分层实践-1-1 JuiceFS - 为云而生的分布式文件系统
1-5.JuiceFS云原生时代的分布式文件系统.pdf
03-18
1-5.JuiceFS云原生时代的分布式文件系统.pdf
Python库 | juicefs-0.0.3-py3-none-win_amd64.whl
06-01
资源分类：Python库 所属语言：Python 使用前提：需要解压 资源全名：juicefs-0.0.3-py3-none-win_amd64.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
JuiceFS是基于Redis和对象存储构建的开源POSIX文件系统-Golang开发
05-26
JuiceFS是基于Redis和对象存储（例如Amazon S3）构建的开源POSIX文件系统，针对云本机环境进行了设计和优化。 通过使用广泛采用的Redis和S3作为持久性存储，JuiceFS可以用作无状态中间件，以使许多应用程序轻松共享...
Spark入门（一篇就够了）
热门推荐
阿甘兄
06-30 5万+
Spark 是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。尽管 相对于 而言具有较大优势，但 并不能完全替代 ，主要用于替代中的 计算模型。存储依然可以使用 ，但是中间结果可以存放在内存中；调度可以使用 内置的，也可以使用更成熟的调度系统 等。实际上，已经很好地融入了 生态圈，并成为其中的重要一员，它可以借助于 实现资源调度管理，借助于 实现分布式存储。此外， 可以使用廉价的、异构的机器来做分布式存储与计算，但是， 对硬件的要求稍高一些，对内存与 有一定的要求........
hadoop安装教程（一次填完所有的坑）
阿甘兄
06-07 2万+
hadoop安装教程，一次填完所有的坑
impala入门（一篇就够了）
阿甘兄
06-01 1万+
Impala是一个MPP（大规模并行处理）SQL查询引擎，是一个用C ++和Java编写的开源软件；用于处理存储在Hadoop集群中大量的数据；性能最高的SQL引擎（提供类似RDBMS的体验），提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。
Hadoop入门（一篇就够了）
阿甘兄
02-28 6949
文章目录01 引言02 Hadoop概述2.1 Hadoop定义2.2 Hadoop优势2.3 Hadoop组成2.3.1 HDFS2.3.2 MapReduce2.3.3 YARN2.4 Hadoop工作方式2.4.1 Hadoop的主从工作方式2.4.2 Hadoop的守护进程03 Hadoop的安装04 Hadoop 高可用4.1 Hadoop高可用的解决方案4.1.1 ZooKeeper quorum4.1.2 ZKFC05 Hadoop 任务调度器5.1 FIFO 调度器5.2 容量调度器（Cap
linux一screen就卡住
07-25
根据这些信息，可以推断出你提到的"linux一screen就卡住"的情况可能是由于某个进程在等待某个操作的结果，但该操作无法正常完成导致的。这可能是由于网络或磁盘等 I/O 问题引起的。当进程无法获取所需的数据或资源时...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值