基于滴滴云搭建 S3FS 及其实现机制剖析

最新推荐文章于 2024-05-28 15:22:48 发布
最新推荐文章于 2024-05-28 15:22:48 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： 云计算 开源 文章标签： S3FS 文件系统 存储 滴滴云 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/java060515/article/details/85261049
版权

简介

S3FS ( S3 FUSE ) 是基于 FUSE 的文件系统，其使 Linux 或 Mac OS X 有能力通过 FUSE 挂载到 S3 的一个 Bucket ( 桶 ) 上，用户可以像操作本地文件系统一样操作 S3 的 Bucket 。

案例使用

环境

名称 描述
操作系统 CentOS Linux release 7.4.1708
S3FS v1.8.3
S3 滴滴云对象存储

安装

  1. 安装依赖包
sudo yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel
  1. 编译源码安装
cd s3fs-fuse
./autogen.sh
./configure
make
sudo make install

使用

  1. 在用户主目录下创建.passwd-s3fs文件，用于存放秘钥
echo MYIDENTITY:MYCREDENTIAL >  ~/.passwd-s3fs
chmod 600  ~/.passwd-s3fs
<
最低0.47元/天 解锁文章
付江
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
文件系统：s3fs简介
GIS摆渡人
03-31 650
参考：https://github.com/s3fs-fuse/s3fs-fuse。
s3fs:S3 FileSystem（fs.FS）的实现
05-10
s3fs 软件包s3fs为Go1.16接口提供了S3实现。 由于S3是平面结构，因此s3fs通过使用前缀和“ /” delim来模拟目录。 目录上的ModTime始终为零值。 该实现将包装为s3客户端。 const bucket = "my-bucket" s , err := session . NewSession () if err != nil { log . Fatal ( err ) } s3fs := s3fs . New ( s3 . New ( s ), bucket ) // print out all files in s3 bucket. _ = fs . WalkDir ( s3fs , "." , func ( path string , d fs. DirEntry , err error ) error { if err != nil
【Linux】使用 s3fs 挂载 MinIO 桶
最新发布
qq_40205510的博客
05-28 562
Linux使用s3fs挂载Minio
s3fs挂载多个桶或普通多目录通过NFS共享踩坑
wade1010的专栏
11-15 1531
原笔记地址s3fs挂载单个桶，然后通过NFS共享出来，网上帖子很多，挺简单的。之前测试过s3fs共享多个桶，然后把父目录通过samba和ftp共享出来，这个都没问题，但是换成nfs的时候遇到了一些坑。今天踩下s3fs挂载多个桶通过NFS共享的坑准备活动：1 服务端和客户端两台机器（一台应该也是可以的，共享和挂载都在同一个机器上）2 s3对象存储有两个桶，分别为 bk1和bk2，每个桶里面分别传点文件3 安装NFS S3FS。
goofys和s3fs利用Minio，挂载到本地进行文件系统各个接口性能测试
xuqiaobo的博客
12-27 5928
s3fs xqb-20171211 /opt/s3point -o passwd_file=./passwd -o url=http://162.3.111.182:9000/ -o use_path_request_style -o nonempty -o use_cache=/opt/s3fscache 挂载的方式，/opt/s3fscache作为缓存目录，/opt/s3po
s3fs实现原理剖析
THMAIL的博客
12-17 3431
一、机制分析 1.读取文件 S3FS 对于文件的存储分为临时文件和缓存两种方式，用户可以在命令行中通过 use_cache 参数指定缓存目录来启动缓存方式。 用户通过 offset 和 size 来读取指定文件中的特定区域，如果本地没有相应的内容 S3FS 会通过网络请求 S3 上的相应内容，并且将对应的内容存储到本地的临时文件或者缓存中。 2.文件逻辑架构 不管是临时文件还是缓存文件，...
基于S3C2440的串口传输及其界面设计.doc
01-09
"基于S3C2440的串口传输及其界面设计" 本资源摘要信息主要介绍了基于S3C2440的串口传输及其界面设计，涵盖了MiniGUI在PC机上的安装、移植到ARM上、串口传输界面设计、程序调试、设计总结及改进等方面的知识点。 1....
s3fs:s3fs-基于高山
05-09
【标题】：“s3fs：基于FUSE的Amazon S3文件系统” 【正文】： s3fs是一款开源软件，它允许用户将Amazon S3云存储服务作为本地文件系统来使用。这个工具是基于Filesystem in Userspace (FUSE) 的，FUSE是一个允许...
基于S3C2440的Ethercat实现
01-19
1 引言 　工业以太网由于低成本、易于组网和具有相当高的数据传输速率、资源共享能力强以及易于Internet连接等特点，以太网（Ethernet）指的是由Xerox公司创建并由Xerox、Intel和DEC公司联合开发的基带局域网规范，...
s3fs-fuse：Amazon S3支持的基于FUSE的文件系统
02-08
s3fs s3fs允许Linux和macOS通过FUSE挂载S3存储桶。 s3fs保留文件的本机对象格式，从而允许使用其他工具，例如 。 产品特点 POSIX的较大子集，包括读/写文件，目录，符号链接，模式，uid / gid和扩展属性 与Amazon ...
s3fs-docker:一个Docker容器，可构建S3FS并在运行期间安装S3存储桶，适合直接使用或继承
05-16
S3FS-泊坞窗 已构建并准备使用S3FS的Docker映像 使用 尽管您可以直接使用此映像，但将其扩展为自己的容器可能更有用。 您可以将'/ root / run'用作包装器，以安装S3，运行命令并卸载。 环境变量 该映像将使用凭据$ AWSACCESSKEYID和$ AWSSECRETACCESSKEY在/ mnt / s3上将存储桶$ AWS_BUCKET安装在/ mnt / s3上，然后运行传递给docker的命令。 例子 显示S3存储桶中的内容 docker build -t withs3 . docker run --privileged=true -e AWS_BUCKET=mybucket -e AWSACCESSKEYID=somekey -e AWSSECRETACCESSKEY=somesecret withs3 ls /mnt/s3 特权须知 据说，您只需要运行
s3fs:带有S3文件系统（通过FUSE的S3）的Ubuntu Trusty作为多个Docker容器的数据卷
05-05
s3fs Ubuntu的可信赖的用和作为用于其他应用容器基本图像。 快速开始 docker run --privileged --cap-add SYS_ADMIN --device /dev/fuse -d -e "BUCKETNAME=$BUCKETNAME" -e "AWSACCESSKEYID=$AWSACCESSKEYID" -e "AWSSECRETACCESSKEY=$AWSSECRETACCESSKEY" hiveoss/s3fs 构型 环境变量 环境变量用于指示要安装的存储桶并提供访问存储桶的凭据。 $BUCKETNAME -AWS存储桶名称$AWSACCESSKEYID -AWS密钥ID $AWSSECRETACCESSKEY -AWS秘密令牌 s3fs-保险丝 您可以覆盖scripts/runS3fs.sh来更改scripts/runS3fs.sh的参数。 mkd
wins3fs-开源
05-02
WinS3fs是Windows的文件系统，允许访问Amazon S3存储。 它实现了本地虚拟SMB服务器\\ s3，以允许访问Amazon S3存储桶
探索云存储的新维度：s3fs - 集成S3的文件系统解决方案
gitblog_00076的博客
05-09 494
探索云存储的新维度：s3fs - 集成S3的文件系统解决方案 项目地址:https://gitcode.com/s3fs-fuse/s3fs-fuse 在数字化时代的今天，云存储已成为我们日常操作的重要部分。而s3fs项目带来了一种创新方式，它将亚马逊S3或其他S3兼容的对象存储服务直接转换为一个可挂载的本地文件系统。借助FUSE（Filesystem in Userspace），无论是Linux...
推荐开源项目：S3FS - 你的云端文件系统解决方案
gitblog_00049的博客
05-17 368
推荐开源项目：S3FS - 你的云端文件系统解决方案 项目地址:https://gitcode.com/fsspec/s3fs 1. 项目介绍 s3fs 是一个强大的Python库，它为Amazon S3提供了类似文件系统的接口。利用 aiobotocore 的异步能力，s3fs 能够高效且便捷地操作S3存储桶，使得在处理大量云存储数据时更加得心应手。该项目的文档可在这里查阅，帮助你快速上手。 2...
cmd与docker部署minio的s3fs服务参考命令
weixin_43663573的博客
08-15 761
代码】cmd与docker部署minio的s3fs服务参考命令。
s3fs、goofys、juicefs对比
wade1010的专栏
02-10 1333
从运维的角度来说，关系型数据库大家都比较熟，开发人员都可以很轻松的上手，其次公司是有公司有 RDS For MySQL 产品，有专业的 DBA 团队来负责运维，所以最终是选择了MySQL 作为的元数据引擎。从数据量上来说，TiKV 无疑是最高的，但是我们的设计初衷是让每套 ES 集群独立一个元数据库实例，因此不同集群之间的元数据是不进行共享的，为了高可用彼此间需要互相隔离。元数据方面，s3fs 和 goofys 没有自己独立的元数据，所有的元数据都是依赖于s3的，JuiceFS 有自己的独立的元数据存储，
s3fsfuse调试
wade1010的专栏
02-13 187
这里由于是调试fuse操作，所以使用attach process的方式调试，方式参照《vscode使用attach process调试进程》这篇笔记。s3fs_create（跟goofys一样创建一个0大小的空文件）readdir后面有5次 s3fs_getattr。libfuse.so里面代码暂时不知道怎么跳进去。所以我这里挨个点进定义的首行代码打上断点。s3fs_write （写入文件内容）一、测试ll /mnt/s3。
AWS利用S3fs在Amazon EC2 Linux实例上挂载S3存储桶
wczyyyj的博客
07-23 1333
1.账户权限 需要一个权限能完全访问EC2和S3服务的账户 2.创建S3存储桶 3.创建EC2 4.登录EC2安装软件包 使用Amazon EC2默认用户“ec2-user”和对应的私钥文件登录启动的Linux实例 安装需要的软件包 sudo amazon-linux-extras install epel sudo yum install s3fs-fuse 检查是否安装成功 [ec2-user@ip-10-10-88-27 ~]$ s3fs s3fs: missing BUCKET ar
centos安装s3fs
10-18
好的，以下是 centos 安装 s3fs 的步骤： 1. 安装依赖库 ``` sudo yum install -y automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel ``` 2. 下载 s3fs 源码 ``` git clone...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值