Ossfs是一款基于Amazon的s3fs构建的实现数据共享工具,允许Linux系统挂载OSS的存储空间(Bucket)到本地,使用户能够像操作本地文件一样方便操作OSS对象(Object)。
- GPU的算力资源是宝贵的,也是昂贵的。在涉及GPU加速的科学计算中,如果我们 将预先装有数据集的OSS挂载到ECS服务器上,并直接保存中间或者最终运算结果至OSS上,这样就可以有效地节省GPU的使用时间,并放宽从服务器上传、下载数据的带宽限制。
本文主要介绍ossfs工具的快速安装与简单使用
- 若查看高级配置与使用,请移步阿里云官方文档
- 若查看阿里云OSS的其他常用工具,请参考阿里云OSS——命令行工具ossutil 以及阿里官方文档OSS常用工具汇总
1、运行环境要求
- Linux系统
CentOS 7.0及以上版本√
Ubuntu 14.04及以上版本
fuse 2.8.4以上版本
☆低版本的Linux系统内核版本比较低,ossfs进程在运行过程中容易出现掉线或者其他问题
2、快速安装
- 下载安装包,安装ossfs☆注意切换root用户
wget http://gosspublic.alicdn.com/ossfs/ossfs_1.80.6_centos7.0_x86_64.rpm #下载安装包
yum localinstall ossfs_1.80.6_centos7.0_x86_64.rpm #安装ossfs
- 配置账号访问信息
将Bucket名称以及具有此Bucket访问权限的AccessKeyId/AccessKeySecret信息存放在/etc/passwd-ossfs文件中。注意这个文件的权限必须正确设置,建议设为640。
echo my_bucket:my_access_key_id:my_access_key_secret > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
- 将Bucket挂载到指定目录。
ossfs my_bucket my_mount_point -ourl=my_oss_endpoint
☆ 挂载示例:注意要将你自己的参数保存到下面对应的变量中
echo $my_bucket:$my_access_key_id:$my_access_key_secret > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
if [ ! -d $my_mount_point ]
then
mkdir $my_mount_point
fi
#内网域名以节省流量费用,并允许其他用户访问,这样像lollows这样的普通用户就可对文件夹/tmp/ossfs进行相关操作了
ossfs $my_bucket $my_mount_point -ourl=$my_oss_endpoint -o allow_other
- 卸载Bucket
fusermount -u /tmp/ossfs