rclone将本地文件或文件夹导入minio中

1、背景:公司数据迁移涉及到文件迁移,原有文件服务器没有使用minio,但是现在的新系统使用了minio。所以这就需要我们将文件上传到minio文件服务器中;由于历史文件数据量大,甲方要求可以通过服务器文件拷贝方式迁移文件,性能、安全性更高;

2、前期准备:

1)minio文件服务器已经安装完成;

2)创建需要的桶,新文件放到files桶中,迁移文件放到oldfiles桶中;

3、实施过程:

1)历史文件压缩上传到生产环境的文件服务器中的任意文件下/fileData,解压文件;

2)配置rclone;

        2.1)下载rclone

        2.2)配置rclone的配置文件,rclone默认会读取(没有的话自己创建);

[minio]
type = s3
env_auth = false
access_key_id = admin 				#用户名
secret_access_key = 12345678		#密码
region =
endpoint = http://127.0.0.1:9000	#服务端地址

        2.3)常用命令

rclone lsd minio:						#列出minio下所有的bucket信息
rclone mkdir minio:bucket				#在minio中创建一个名称是bucket的桶
rclone sync /home/files minio:bucket	#把/home/files文件夹下所有的文件包										                
                                         括子文件都传到bucket下

3)使用2.3的命令,将fileData下的文件复制到桶oldfiles中:

执行:rclone sync /home/fileData/ minio:oldfiles

结果:dan.jpg是被文件服务器识别的文件,而111.jpg是通过物理上传的;

 4)文件迁移完成,数据表通过字段对比,进行数据清洗;

 5) 通过接口访问上传的文件可以被识别;

  • 4
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值