一、介绍
s5cmd 是一个非常快速的 S3 和本地文件系统执行工具。它支持多种操作,包括文件名补全和文件通配符支持,这对于在处理大量文件时的对象存储工作流程非常有用。
s5cmd 支持多种对象管理任务,既适用于云存储服务,也适用于本地文件系统。
以下是s5cmd支持的功能:
- 列出桶和对象
- 上传、下载或删除对象
- 移动、复制或重命名对象
- 使用 AWS Key Management Service (KMS) 设置服务器端加密
- 在上传、复制或移动时为对象/文件设置访问控制列表 (ACL)
- 将对象内容打印到标准输出
- 使用 SQL 表达式从对象中选择 JSON 记录
- 创建或删除桶
- 按存储类对对象大小进行分组,并总结其大小
- 支持所有操作中的通配符
- 支持删除操作中的多个参数
- 支持命令文件,以在非常高的执行速度下批量运行命令
- 支持试运行
- 支持 S3 传输加速
- 支持 Google Cloud Storage (以及任何其他与 S3 API 兼容的服务)
- 提供结构化的日志记录,用于查询命令输出
- 提供 shell 自动补全功能
- 支持 S3 ListObjects API 的向后兼容性
GitHub链接:https://github.com/peak/s5cmd
项目git clone链接:https://github.com/peak/s5cmd.git
二、安装
windows系统
1、下载压缩包
v2.2.2版本下载链接:(可以去Github下载最新的版本:https://github.com/peak/s5cmd/releases)
https://github.com/peak/s5cmd/releases/download/v2.2.2/s5cmd_2.2.2_Windows-64bit.zip
2、解压压缩包
下载完成后,请将其文件解压至自己偏好的存储位置,以便更好地管理和访问。
解压完成,将得到如下文件,只要有s5cmd.exe即可:
3(可选)、配置aws s3的凭证(配置文件)
ps:不设置这个的话只能通过脚本设置环境变量的方式运行,或者临时将aws凭证的变量添加到当次运行环境中,即每次运行都需要提供aws的凭证,不然无法使用s5cmd的命令。
windows环境下,一般aws的配置文件路径为C:\Users\username\.aws
文件夹下,如果没有可以可以手动创建,或者使用aws cli命令创建。
C:\Users\username.aws 里面的username值是你们自己本机的用户名。如下图所示:
代码块里用XXXXXX的值,需要替换为想要访问的aws云存储服务或兼容aws api的服务的ak/sk(ACCESS KEY / SECRET ACCESS KEY)如果有region就替换,没有就删除该行。
[default]
output = json
region = XXXXXX
config文件:
credentials文件:
[default]
aws_access_key_id = XXXXXX
aws_secret_access_key = XXXXX
4(可选)、简化命令输入
将s5cmd的可执行文件路径设置为系统环境变量。
将s5cmd的可执行文件的路径添加到Path环境变量中
本文的值为:E:\temp\dev_tool 如这张图片所示的路径。