- 博客(111)
- 收藏
- 关注
RSS订阅原创 JuiceFS 直连 NFS 新功能介绍，赋能 NAS 进行 AI 训练
JuiceFS v1.2.0 版本新增的直连 NFS 存储功能，让 JuiceFS 可以更好的与 NAS 配合使用，提升了 JuiceFS 对 NFS 的兼容性，同时也为企业提供了更简易的存储解决方案。用户可以利用现有的存储资源在本地构建高性能、高可用的分布式文件系统，为 AI 模型训练、数据分析等场景提供更好的支持。欢迎大家下载试用 JuiceFS v1.2.0 版本，体验直连 NFS 创建文件系统，为本地 AI 模型训练提供强大动力！
2024-07-19 13:31:49
643
原创 seaweedfs + TiKV 部署保姆级教程
在使用 JuiceFS 时，我们选择了 SeaweedFS 作为对象存储，以及 TiKV 作为元数据存储，目前在 SeaweedFS 上已经存储了近1.5PB 的数据。关于 SeaweedFS 和 TiKV 配置的参考资料不多，本文将为社区各位用户提供我们的部署实践，并提供详细的命令示例，希望能给社区各位用户一些参考。此外，在文章的最后会附上我们通过多个文件实现配额管理以及在 JuiceFS 文件系统内进行跨机房数据迁移的实践。
2024-07-12 15:04:48
551
原创 基于 JuiceFS 构建高校 AI 存储方案：高并发、系统稳定、运维简单
由于我们使用 PyTorch 框架进行模型训练，如果系统支持 POSIX 接口，将极大地降低用户的学习成本，同时减少对现有代码的改动。
2024-06-26 11:01:54
1020
原创 JuiceFS 社区版 v1.2 发布，新增企业级权限管理、平滑升级功能
JuiceFS 社区版 v1.2 今天正式发布，这是自 2021 年开源以来的第三个大版本。v1.2 也是一个长期支持版本（LTS）。我们将持续维护 v1.2 以及 v1.1 这两个版本，v1.0 将停止更新。JuiceFS 是为云环境设计的分布式文件系统，支持超过 10 种元数据引擎和 30 种以上的数据存储引擎。这些丰富的选择使得用户可以灵活应对多变的企业环境和数据存储需求；
2024-06-21 12:17:05
641
原创 贝壳找房: 为 AI 平台打造混合多云的存储加速底座
贝壳在机器学习平台建设方面起步较早，因此我们可以利用这些成熟的技术和框架来优化模型管理和分发。例如，我们已经成功将 JuiceFS 等技术应用于模型存储和管理中，进一步提升了系统的效率和稳定性。我们基于 JuiceFS 的架构设计了一套 AI 模型仓库方案。
2024-06-12 16:22:56
793
原创 稳定、省钱的 ClickHouse 读写分离方案：基于 JuiceFS 的主从架构实践
Jerry 是一家位于北美的科技公司，利用人工智能和机器学习技术，简化汽车保险和贷款的比价和购买流程。在美国，Jerry 的应用在其所属领域排名第一。随着数据规模的增长，Jerry 在使用 AWS Redshift 时遇到了一些性能与成本的挑战。Jerry 重新设计了系统架构，使用 ClickHouse 后，数据查询性能提升了 20 倍，并大幅降低了成本。但在使用过程中也遇到了磁盘损坏和数据恢复等诸多存储挑战。作为初创公司，Jerry 希望避免对 ClickHouse 集群进行大量的维护工作。。
2024-05-17 11:01:34
633
原创 详解 JuiceFS sync 新功能，选择性同步增强与多场景性能优化
JuiceFS sync 是一个强大的数据同步工具，支持在多种存储系统之间进行并发同步或迁移数据，包括对象存储、JuiceFS、NFS、HDFS、本地文件系统等。此外，该工具还提供了增量同步、模式匹配（类似 Rsync）、分布式同步等高级功能。在最新的 v1.2 版本中，针对 Juice sync 我们引入了多项新功能，并对多个场景进行了性能优化，以提高用户在处理大目录和复杂迁移时的数据同步效率。
2024-05-15 10:31:03
511
原创 JuiceFS v1.2-beta1，Gateway 升级，多用户场景权限管理更灵活
JuiceFS 将文件分块存储到底层的对象存储中，向用户提供 POSIX 接口访问 JuiceFS 中的文件。当用户需要同时用 S3 兼容接口访问文件时，就需要用 JuiceFS Gateway。在本次 JuiceFS 1.2-beta1 版本中，我们对 Gateway 功能新增了两项备受期待的模块：身份和访问管理（IAM）：支持多用户的管理和访问控制，支持匿名访问控制；事件通知：可以使用桶事件通知来监控桶中对象发生的事件。
2024-05-06 10:42:15
1012
原创 如何使用 Grafana 监控文件系统状态
本文主要介绍了如何使用 Grafana Cloud 为 JuiceFS 搭建可视化的状态监控系统，为了满足不同经验背景的读者需要，每个环节尽量选择最简单的方式来实现。事实上，任何 IT 系统的搭建都是一个个选择堆叠而成。不难发现，在本文介绍的步骤中，有很多环节是可以有其他的选择，比如，Prometheus 的数据上报方式，文中选择了 Grafana Agent，而读者还可以选择用本地自建的 Prometheus。所以，本文只是抛砖引玉，最终的部署和使用方法还是需要读者自己灵活选择和搭配。
2024-04-12 14:46:29
754
原创 大模型存储实践：性能、成本与多云
大模型应用领域的迅猛发展，也推动着基础技术领域持续探索和进步。文件存储服务在 AI 基础设施中成为不可或缺的重要部分。在过去 18 个月的时间里，JuiceFS 团队与 MiniMax，阶跃星辰，智谱 AI，面壁智能，零一万物等大模型团队展开了交流与合作，已经支持了多家客户生产环境中数千卡的训练任务。在这篇文章中，我们将分享大型语言模型在存储领域面临的一些挑战与 JuiceFS 在服务这些场景时的实践经验，为相关企业提供参考。
2024-04-07 14:59:38
1000
原创 知乎：多云架构下大模型训练，如何保障存储稳定性?
知乎，中文互联网领域领先的问答社区和原创内容平台，2011 年 1 月正式上线，月活跃用户超过 1 亿。平台的搜索和推荐服务得益于先进的 AI 算法，数百名算法工程师基于数据平台和机器学习平台进行海量数据处理和算法训练任务。为了提高系统的易用性和灵活性，知乎实施了多云混合部署架构，允许不同云上的作业和服务透明地处理文件，且用户可以在容器中灵活与文件交互，无需关注文件的具体存放位置。
2024-03-28 14:01:16
997
原创 在 Google Colab 中使用 JuiceFS
本文介绍了如何在 Google Colab 中使用 JuiceFS 来持久化保存数据，通过实例介绍了如何为 JuiceFS 准备元数据引擎和对象存储来尽量发挥它的性能，以及在 Colab 中的安装和挂载方法。最后通过 Fooocus 和 Chroma 两个例子，演示了在实际应用中如何利用 JuiceFS 来更好地保存并重复利用数据。希望这篇文章的内容能够对你起到一定的帮助，如果你有任何疑问，欢迎在评论区留言讨论。如果你对 JuiceFS 有兴趣，可以查看官方文档了解更多用法和性能调优方面的内容。
2024-03-22 15:13:50
987
原创 从 HPC 到 AI：探索文件系统的发展及性能评估
随着 AI 技术的迅速发展，模型规模和复杂度以及待处理数据量都在急剧上升，这些趋势使得高性能计算（HPC）变得越来越必要。HPC 通过集成强大的计算资源，比如 GPU 和 CPU 集群，提供了处理和分析大规模数据所需的算力。然而，这也带来了新的挑战，尤其是在存储系统方面，包括如何有效处理大量数据、确保数据访问的高效性以及如何控制成本和运维管理。。它们通过跨多个节点分布存储资源，有效地处理和管理大数据集，满足 HPC 对数据存取速度的高要求。
2024-03-06 11:07:28
2353
原创 千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略
2023 年 9 月，AI 领域的权威基准评测 MLPerf 推出了。该基准测试通过模拟机器学习 I/O 负载的方法，在不需要 GPU 的情况下就能进行大规模的性能压测，用以评估存储系统的在 AI 模型训练场景的适用性。目前支持两种模型训练：BERT （自然语言模型） 和 Unet3D（3D医学成像）。
2024-02-28 10:46:47
915
原创 BentoML：如何使用 JuiceFS 加速大模型加载？
在介绍模型部署环节的工作之前，首先需要对 BentoML 是什么以及它的架构做一个简要的介绍。BentoML 是一个高度集成的开发框架，采用简单易用的方式，支持以开发单体应用的方式进行开发，同时以分布式应用的形式进行部署。这意味着开发者可以用很低的学习成本来快速开发一个高效利用硬件资源的大语言模型 AI 应用。BentoML 还支持多种框架训练出来的模型，包括 PyTorch、TensorFlow 等常用 ML 框架。
2024-02-21 10:58:45
868
原创 极限挑战：使用 Go 打造百亿级文件系统的实践之旅
JuiceFS 主要分为三大组件：客户端：它是与业务交互的接入层。JuiceFS 支持多种协议，包括 POSIX、Java SDK、Kerbenetes CSI Driver 和 S3 Gateway 等。元数据引擎：负责维护文件系统的目录树结构，以及各个文件的属性等。数据存储：负责存储普通文件的具体内容，通常由亚马逊 S3、阿里云 OSS 等对象存储担任。目前 JuiceFS 拥有社区版和企业版两个版本，它们的架构基本一致，主要区别在于元数据引擎的实现。
2024-02-02 14:46:15
449
原创 韩国国民搜索 NAVER：为 AI 平台引入存储方案 JuiceFS
NAVER 是一家多元化的互联网公司，拥有韩国最大的搜索引擎并在人工智能、自动驾驶等高科技领域积极投入。在搭建 AI 平台时，NAVER 评估了公有云平台的存储产品、Alluxio 以及高性能专用存储产品等多种选项后，最终决定采用 JuiceFS。通过使用JuiceFS，NAVER 成功地将内部存储资源升级为高性能、适应 AI 工作负载的存储解决方案。AiSuite 是 NAVER 开发者所使用的人工智能平台，它支持 NAVER 的各种服务的开发和运维。
2023-12-27 15:30:49
488
原创 机器人行业数据闭环实践：从对象存储到 JuiceFS
本文所指的机器人特指商用服务型机器人，如在商场中常见的自动清洁和送餐机器人。数据闭环是指收集终端用户的软件系统运行数据，以此来优化产品的功能和用户体验。数据闭环如下图所示，首先，机器人系统会捕捉并上传现场问题相关的数据。这些数据，包括传感器数据以及感知、规划和控制方面的信息，都将被直接采集并用于后续处理。接下来，工程师将着手解决现场问题，首要任务是将前一步骤中采集的数据进行可视化处理。这需要直接访问存储在 JuiceFS 的数据。
2023-12-13 16:19:36
460
原创 手把手教你搭建 Ceph＋JuiceFS
Ceph 提供了对象存储，可作为存储引擎在 JuiceFS 中使用。这一组合非常适合云计算、大数据分析和机器学习等数据密集型应用场景。在日常部署中可直接通过 Ceph RADOS 配合 JuiceFS 使用，无需部署 RGW。基于此方案实践以及运维中的常见问题，结合整理了这篇博客，旨在帮助那些不太熟悉 Ceph 的工程师顺利部署和运维 Ceph，并与 JuiceFS 进行对接。
2023-12-08 10:58:03
254
1
原创 JuiceFS 用户必备的 6 个技巧
随着大数据、AI 技术的发展，越来越多的企业、团队和个人开始使用 JuiceFS，本文整理了 6 个超实用的 JuiceFS 技巧，帮助大家提升 JuiceFS 的管理效率。
2023-11-22 17:07:52
277
原创 基于JuiceFS 的低成本 Elasticsearch 云上备份存储
Elasticsearch 的数据备份是通过快照机制实现的。为了完成集群的快照，需要依赖一个共享存储系统，即所有节点需要挂载到共享存储的同一个目录，并且每个节点对此目录需有读写权限，最初我们使用 NAS（即 NFS）来实现备份，这个方案也已经稳定运行多年。在此，我还是再强调一下数据备份重要性。很多小伙伴误认为 Elasticsearch 具备副本机制，只要配置多副本就不怕数据丢失，为什么还要备份呢？再多的副本禁不住一个 DELETE 误操作；
2023-11-15 16:36:39
263
原创 POSIX 真的不适合对象存储吗？
从测试结果来看，直接写 MinIO 和 JuiceFS 的性能相当，均可在 30s 内完成，而 s3fs-fuse 写入 10GB 文件耗时 3 分钟以上，平均比前两者慢了 6 倍左右。在写入大文件时，mc 会使用 Multipart API 来将文件分块上传到 S3 接口，而只能单线程写入到 POSIX。JuiceFS 在大文件的顺序写也会自动将文件分块并并发写入到 MinIO 中，因此与直接写 MinIO 性能相当。
2023-10-25 16:56:42
162
原创 JuiceFS 目录配额功能设计详解
JuiceFS 在最近 v1.1 版本中加入了社区中呼声已久的目录配额功能。已发布的命令支持为目录设置配额、获取目录配额信息、列出所有目录配额等。完整的详细信息，请查阅。在设计此功能时，对于它的统计准确性，实效性以及对性能的影响，团队内部经历过多次讨论和权衡。在本文中，我们会详述一些在设计关键功能时的不同抉择及其优缺点，并分享最终的实现方案，为想深入了解目录配额或有相似开发需求的用户提供参考。
2023-10-09 15:47:23
207
原创 小米云原生文件存储平台化实践：支撑 AI 训练、大模型、容器平台多项业务
小米作为全球知名的科技巨头公司，已经在数百款产品中广泛应用了 AI 技术，这些产品包括手机、电视、智能音箱、儿童手表和翻译机等。这些 AI 应用主要都是通过小米的深度学习训练平台完成的。在训练平台的存储方案中，小米曾尝试了多种不同的存储方式，包括 Ceph+NFS、HDFS 和对象存储挂载等。然而，这些不同的存储方式导致了数据冗余和维护管理成本的增加，同时也带来了扩展性和性能方面的问题。
2023-09-22 14:16:44
862
原创 浅析 GlusterFS 与 JuiceFS 的架构异同
在进行分布式文件存储解决方案的选型时，无疑是一个不可忽视的考虑对象。作为一款开源的软件定义分布式存储解决方案，GlusterFS 能够在单个集群中支持高达 PiB 级别的数据存储。自从首次发布以来，已经有超过十年的发展历程。目前，该项目主要由 Red Hat 负责维护，并且在全球范围内拥有庞大的用户群体。本文旨在通过对比分析的方式，介绍 GlusterFS 与 JuiceFS 的区别，为您的团队在技术选型过程中提供一些参考。
2023-08-25 10:39:36
749
原创 存算分离实践：构建轻量、云中立的大数据平台
同样是增加存储资源，存算一体架构下会闲置部分计算资源，存算分离则不会有这个问题。此外，数据量的不断增长还带来了 HDFS NameNode 元数据压力、集群节点规模扩张受限等问题。这些问题也时时刻刻牵动着各个大数据团队紧绷的神经。
2023-08-16 17:18:36
523
原创 网易互娱出海之旅：大数据平台上云架构设计与实践
相比原生的 JuiceFS 方案，Hadoop+JuiceFS 使用额外的副本实现了储性能优化和实现兼容性与高可用的支持。DN 只写一个副本的方案， 依赖 JuiceFS 在可靠性上的迭代优化。虽然已经在不同云上实现一套多云兼容、对比 EMR 更好的方案，但是对于混合多云和云原生的方案还需要更多的迭代。对于未来大数据云原生场景的展望，目前我们采取的解决方案并非终极版本，而是一个过渡性方案，旨在解决兼容性和成本问题。
2023-08-11 15:23:27
392
原创 实现无限存储：基于JuiceFS 创建 Samba 和 NFS 共享
本文介绍了如何使用 JuiceFS 文件系统作为 NFS 和 Samba 的共享存储，实现一个面向内网且几乎没有容量上限的共享存储空间。通过引入 Cockpit 的图形化管理界面，让读者可以更方便地管理多用户、多权限的 Samba 和 NFS 共享。另外还分享了各种共享在挂载访问时常见的问题和解决方法，希望这篇内容能够对你有一些帮助，如果有其他疑问欢迎加入JuiceFS 社区与大家共同交流。
2023-08-07 14:21:27
410
原创 构建易于运维的 AI 训练平台：存储选型与最佳实践
伴随着公司业务的发展，数据量持续增长，存储平台面临新的挑战：大图片的高吞吐、超分辨率场景下数千万小文件的 IOPS 问题、运维复杂等问题。除了这些技术难题，我们基础团队的人员也比较紧张，负责存储层运维的仅有 1 名同事，因而组件的易用性，一直也是我们评估的重要维度。我们尝试过文件系统包括有 NFS、GlusterFS、Lustre 和 CephFS，最终选择了JuiceFS。
2023-08-02 16:34:02
480
原创 万字长文 | Hadoop 上云： 存算分离架构设计与迁移实践
一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。在过去几年中，我们按照每 1 到 2 年的规划扩容硬件，但往往在半年之后就不得不再次扩容。而每次扩容都需要花费大量精力。。在这个案例中，我们将为大家介绍 Hadoop 上云的架构设计、选型的思考、组件评估以及数据迁移的整个过程。目前，基于JuiceFS 我们实现了计算和存储分离的架构，总存储量增加了2倍；性能方面的变化无明显感知，运维成本大幅降低。
2023-07-14 14:23:22
936
原创 文件系统考古4：如何支持多个文件系统
Steve Kleiman 在 1986 年撰写了《》一文。这篇论文幅较短，大部分内容是数据结构的列举，以及 C 语言结构之间相互指向的图表。Steve Kleiman是分布式文件系统领域的专家，在 Sun Microsystem 工作了多年，曾参与开发 Sun Network File System（NFS）等项目，为分布式文件系统领域做出了重要贡献。Kleiman 希望在 Unix 中能够拥有多个文件系统，并希望这些文件系统能够共享接口和内存。
2023-07-07 11:01:45
206
原创 文件系统考古 3：1994 - The SGI XFS Filesystem
在 1994 年，论文《》发表了。自 1984 年以来，计算机的发展速度变得更快，存储容量也增加了。值得注意的是，在这个时期出现了更多配备多个 CPU 的计算机，并且存储容量已经达到了 TB 级别。对于这些设备，仅仅对 4.3BSD 快速文件系统（或 SGI IRIX 中称为 EFS 的修改版本）进行改进已不再足够。（点击。
2023-06-26 13:48:04
448
原创 云上使用 Stable Diffusion ，模型数据如何共享和存储
JuiceFS 是一款面向云原生设计的高性能分布式文件系统，在 Apache 2.0 开源协议下发布。提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写。如图所示，JuiceFS 文件系统由元数据引擎和对象存储组成，元数据引擎用来存储文件名、大小、权限等元数据信息，对象存储用来存储文件的数据块。使用基于网络的对象存储和数据库创建 JuiceFS 文件系统，它就具备了跨平台、跨网络的共享访问能力。
2023-06-19 16:11:24
2621
1
原创 之江实验室： 如何基于 JuiceFS 为超异构算力集群构建存储层 ？
今天，高性能计算结合人工智能技术正在推动科研创新。例如通过破解水稻基因密码推动作物育种从“试验选优”向“计算选优”发展，在医药领域快速分析分子与蛋白之间的相互作用，发现潜在的能够有效干预疾病发生的药物分子。之江实验室就是上述科研创新的推动者，实验室由浙江省政府主导、浙江大学等院校支持、企业参与的事业单位性质的新型研发机构，为材料、基因、制药、天文、育种等科学领域的研究提供新的方法、工具和手段。
2023-06-14 17:27:21
662
原创 JuiceFS 社区版 v1.1- Beta 发布，新增五个实用功能
我们很高兴地宣布 JuiceFS v1.1-Beta 版本正式发布啦！这是一个功能丰富的版本，带来了许多实用的新功能和改进。此外，我们还新增了一个元数据引擎 FoundationDB，一个支持分布式事务的 Key-Value 存储。下面，我们将详细介绍这个版本的新功能和变化。
2023-06-12 11:02:31
612
原创 文件系统考古2：1984 - BSD Fast Filing System
今天继续与大家分享系列文章《》，由撰写。我们将进入文件系统的第二个十年，即1984年，计算机由微型计算机发展到了桌面和机柜工作站， BSD Fast Filing System 登场。回看第一篇：早期的 Unix 文件系统已经表现得很好，但也存在一些明显的问题。这些问题在操作系统 BSD（Berkeley Software Distribution）中进行了许多修复。BSD 起源于 20 世纪 70 年代末和 80 年代初，由加州大学伯克利分校的计算机科学系开发和推广。
2023-06-08 10:48:19
908
原创 从架构到特性：JuiceFS 企业版首次全面解析
JuiceFS 企业版 4.9 引入了一些新的特性，最大的变化是新增了很多之前企业版没有的子命令，比如 gateway、sync、stats、load。社区版的用户应该对这些命令比较熟悉，因为这些命令在社区版里面早已提供了。现在在企业版 4.9 里面，也使用了很多社区版已经有的命令来对齐功能。另外一个对齐社区版功能的特性是支持使用多个 bucket 来存储数据。这个功能在社区版中早已存在。一般来说，一个文件系统可能只会对应一个对象存储 bucket。
2023-06-02 11:22:11
492
原创 文件系统考古：1974-Unix V7 File System
有时，进步难以察觉，特别是当你正身处其中时。而对比新旧资料之间的差异，寻找那些推动变革的信息源，我们就可以清晰地看到进步的发生。在Linux（以及大部分Unix系统）中，都可以印证这一点。Unix V7 是 Unix 操作系统的一个重要的早期版本，于 1979 年发布，是贝尔实验室最后一个广泛分发的版本。它是第一个真正可移植的 Unix 版本，被移植到了多种平台上，包括 DEC PDP-11, VAX, x86, Motorola 68000 等。
2023-05-26 15:27:09
1000
原创 从本地到云端：豆瓣如何使用 JuiceFS 实现统一的数据存储
Gentoo Linux 是一个较为小众的 Linux 发行版，具有几乎无限制的适应性特性，是一个原发行版。Gentoo Linux 采用滚动更新的方式，所有软件包都直接从社区中获取二进制包，我们则通过源代码构建我们所需的软件包。Gentoo Linux 有一个强大的包管理器，使用它也会带来很多便利，也同时存在一些问题。比如，滚动更新的速度非常快，但对于服务器来说，可能存在一定的不稳定性。
2023-05-10 16:13:44
807
1
原创 加速 AI 训练，如何在云上实现灵活的弹性吞吐？
AI 已经成为各行各业软件研发的基础，带来了前所未有的效率和创新。今天，我们将分享苏锐在AWS量化投研行业活动的演讲实录，为大家介绍JuiceFS 在 AI 量化投研领域的应用经验，也希望为其他正在云上构建机器学习平台，面临热点数据吞吐不足的企业提供一些启发。
2023-05-06 14:57:14
761
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人