aws cli 上传文件到s3命令_一个aws s3 上传命令行工具的落成

本来对golang语言只是有过基本的了解,AWS 的s3文档又博大精神,因此期间遇到了大小问题值的总结一下。AWS S3的golang sdk有两个版本,我无法下载第一个版本的sdk,只能使用v2的sdk(https://github.com/aws/aws-sdk-go-v2)。

官方对于这个SDK给出了两个下载方式:第一种是比较常规的下载方式,第二种是golang 的一种包管理工具。 Golang 的包管理工具很多,我还需一一了解

第一种:

go get -u github.com/aws/aws-sdk-go-v2

第二种:

dep ensure -add github.com/aws/aws-sdk-go-v2

AWS S3 的官方文档不知如何看起,我也只能贴个连接(https://docs.aws.amazon.com/sdk-for-go/api/aws/) 。里面是sdk-v1的文档,v2比v1虽然有稍微的改动,但是大致相同,只能拼凑这看了。

2. sdk-v2如何授权。先看v1版本的授权方式

// The session the S3 Uploader will use

sess := session.Must(session.NewSession())

// Create an uploader with the session and default options

uploader := s3manager.NewUploader(sess)

f, err := os.Open(filename)

if err != nil {

return fmt.Errorf("failed to open

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要将大文件上传AWS S3,可以使用AWS提供的multipart上传方法。这个方法允许你将文件分成多个部分来上传,以便在网络不稳定的情况下保证上传的可靠性。以下是一个简单的Node.js示例代码: ```javascript const AWS = require('aws-sdk'); const fs = require('fs'); // AWS S3配置 const s3 = new AWS.S3({ accessKeyId: 'your_accessKeyId', secretAccessKey: 'your_secretAccessKey' }); // 文件上传配置 const uploadParams = { Bucket: 'your_bucket_name', Key: 'your_file_name', Body: '', ContentType: 'your_content_type' }; // 分块上传文件 const fileStream = fs.createReadStream('your_file_path'); fileStream.on('error', function(err) { console.log('Error:', err); }); uploadParams.Body = fileStream; const multipartUpload = new AWS.S3.ManagedUpload({ params: uploadParams, partSize: 5 * 1024 * 1024, // 分块大小,单位:字节 queueSize: 1 // 并发上传文件数量 }); multipartUpload.on('httpUploadProgress', function(progress) { console.log('Progress:', progress); }); multipartUpload.promise().then(function(data) { console.log('Success:', data); }).catch(function(err) { console.log('Error:', err); }); ``` 在上面的代码中,我们使用AWS SDK来创建S3对象,并设置了访问密钥等参数。接着,我们设置了文件上传的配置参数,包括Bucket、Key、Body、ContentType等。最后,我们使用ManagedUpload类实现将文件分块上传S3的功能,分块大小和并发上传文件数量可以根据实际需求进行调整。在上传过程中,我们可以通过httpUploadProgress事件获取上传进度信息。最后,我们使用promise()方法来等待文件上传完成,并处理上传成功或失败的结果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值