我的NAS是怎么连接Amazon Web Services S3的

已于 2024-08-19 20:46:30 修改
阅读量1.1k 收藏 28
点赞数 23
分类专栏： 亚马逊云科技 文章标签： 前端 chrome
于 2024-07-28 22:47:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38781498/article/details/140752445
版权

作为IT爱好者，很多家庭都配备了Network Attached Storage（NAS），用于存储和管理大量数据。一个常见的挑战是如何实现异地备份，以确保数据的安全性和可恢复性。以下是一些解决方案和工具，可以帮助用户有效地管理和使用Amazon S3与NAS的组合。

连接S3的几种方式

  1. Amazon Web Services CLI/SDK：使用命令行或者编程语言的SDK进行访问。
  2. Storage Gateway：把S3协议转换成SMB/NFS协议。
  3. Amazon Transfer Family：把S3协议转换成FTP/SFTP/FTPS协议。
  4. S3 Mount: 原生支持把S3当作一块共享盘挂载在Linux上。
  5. S3Fs：开源软件，也是把S3当作共享盘挂载在Linux上，出来时间比S3 Mount要早很多。

连接方式和安全性

使用AK/SK（访问密钥ID和密钥）连接Amazon S3虽然方便，但会明文暴露密钥，存在安全风险。推荐在EC2实例上使用IAM角色来替代AK/SK，以提高安全性。IAM角色不仅更安全，而且可以精细控制权限，避免不必要的访问。虽然我们有IAM Role anywher， 但是很多配套软件不支持使用证书进行认证。

常用的S3命令

以下是一些常用的S3命令，帮助用户管理S3中的数据：

  • aws s3 cp：用于在本地文件系统和S3存储桶之间复制文件。
  • aws s3 sync：用于同步本地目录与S3存储桶或两个S3存储桶之间的内容。
  • aws s3 ls：列出存储桶中的对象和前缀。
  • aws s3 rm：删除S3存储桶中的对象。

当然，下面是一个使用 aws s3 cp 命令的例子，展示如何使用 --include 和 --exclude 选项进行过滤，并使用 --recursive 选项来复制目录结构中的所有文件和子文件夹：

# 使用 aws s3 cp 命令复制文件，并过滤包含和排除特定文件类型
aws s3 cp "$source_bucket" "$destination_bucket" --recursive \
    --exclude "*" \
    --include "*.jpg" \
    --include "*.png"

# 上述命令会递归复制源存储桶中的所有 .jpg 和 .png 文件到目标存储桶

在这个例子中：

  1. source_bucket 和 destination_bucket：定义了源和目标 S3 存储桶的路径。
  2. –recursive：确保目录结构中的所有文件和子文件夹都被复制。
  3. –exclude “*”：首先排除所有文件。
  4. –include “*.jpg” 和 –include “*.png”：仅包含扩展名为 .jpg 和 .png 的文件。

以下是三个使用 AWS CLI 的例子，分别展示了 aws s3 sync、aws s3 ls 和 aws s3 rm 命令的使用方法。

aws s3 sync：用于同步本地目录与S3存储桶，或两个S3存储桶之间的内容。

# 同步本地目录到S3存储桶
aws s3 sync /path/to/local/directory s3://your-bucket-name/

# 同步一个S3存储桶到另一个S3存储桶
aws s3 sync s3://source-bucket-name/ s3://destination-bucket-name/

在第一个命令中，本地目录 /path/to/local/directory 中的所有文件和子文件夹将被同步到 S3 存储桶 your-bucket-name 中。第二个命令则是将 source-bucket-name 中的内容同步到 destination-bucket-name。

aws s3 ls 列出S3存储桶中的对象和前缀。

# 列出存储桶中的顶层对象和文件夹
aws s3 ls s3://your-bucket-name/

# 列出存储桶中指定前缀下的所有对象
aws s3 ls s3://your-bucket-name/some-prefix/ --recursive

aws s3 rm删除S3存储桶中的对象。

# 删除单个对象
aws s3 rm s3://your-bucket-name/file.txt

# 递归删除整个目录中的对象
aws s3 rm s3://your-bucket-name/some-prefix/ --recursive

第一个命令删除 your-bucket-name 存储桶中的单个对象 file.txt。第二个命令递归删除 some-prefix 目录下的所有对象。

过去，QNAP 提供 Connect to Cloud Drive 挂载云端功能，可将公有云空间挂载至 File Station。云端空间挂载的目的是让云端空间纳入 File Station 的管理服务，可让 File Station 同时管理多个公有云和远程 NAS (私有云) 空间并存取其中的档案。云端空间挂载并无云网关的中介功能，也就是说，云端空间挂载无法处理公/私有云的存取协议转换、不支持启用本地端 SSD 加速云端数据存取，且云端档案访问速度取决于因特网速度。

在这里插入图片描述
我先尝试了左边的HybridMount
在这里插入图片描述

在连接对象储存这个方面，这个软件的设置和Storage Gateway和很类似，可以选择缓存或者不使用缓存，然后把基于S3的对象存储转化成NAS的本地存储，这样也就等于转换成了。除此之外还可以连接远程的SMB，NFS和FTP，就可以满足我们日常的使用要求了。
在这里插入图片描述

在这里插入图片描述

Storage Gateway

Amazon Storage Gateway是一种混合云存储服务，允许本地应用程序无缝地将数据存储在Amazon S3中。它可以将S3协议转换为NFS或SMB协议：

  • NFS（网络文件系统）：适合Linux/Unix环境，提供免认证的文件共享。
  • SMB（服务器消息块）：通常用于Windows环境，需要通过身份验证机制，如一次性guest密码或与Active Directory（AD）集成使用域的密码。

Storage Gateway实际上启动了一个缓存盘，定期将S3中的文件同步到该缓存盘中。上传到缓存盘的数据会立即传输到S3，而从S3下载的数据则是定时进行的。选择较短的同步间隔可以获取最新数据，但会增加费用；反之，选择较长的间隔可以降低费用。对于多用户环境，建议使用NFS协议，以减少直接从S3上传文件的开销。

我主要通过NFS来访问S3，当然除了也支持FSx，磁带， iSCSI存储。

Amazon FSx 文件网关使您能够使用 SMB 协议在 Amazon FSx for Windows File Server 中存储和检索文件。通过 Amazon FSx 文件网关写入的文件可直接在 Amazon FSx for Windows File Server 中访问。

卷网关使用 iSCSI 连接为您的本地部署应用程序提供块存储。卷上的数据存储在 Amazon S3 中，您可以获取卷的时间点副本，这些副本将作为 Amazon EBS 快照存储在 AWS 中。您还可以获取卷的副本，并使用 AWS Backup 管理保留的卷副本。您可以将 EBS 快照还原到卷网关卷或 EBS 卷。

我们先来创建一个Storage Gateway，第一步先从创建网关开始：
在这里插入图片描述
这里可以选择缓存经常访问的数据，也可以把全部的数据从S3拉取到本地，处于成本考虑，我选择了缓存卷。

这里需要安装一个Agent，可以使用让亚马逊云帮助我们在EC2上安装一个agent，当然我们也可以在本地的EXSI，KVM等平台手动安装，这样就无需在云平台上花费额外的费用，如下是安装在EXSI虚拟机中的步骤：
在这里插入图片描述
如果选择安装到EC2中，这个是操作方法：
在这里插入图片描述

激活的方式可以选择使用IP地址或者激活密钥，如果我们的80端口恰好可以在互联网上被访问到，那么推荐使用IP地址的方式来激活。
在这里插入图片描述
如果使用激活密钥的方式，那么需要登陆到硬件设备的网关控制台查找激活密钥。
在这里插入图片描述
这个就是我们创建出来的网关，然后我们进行下一步。
在这里插入图片描述

接下来创建文件共享，这里选择NFS或者SMB

在这里插入图片描述

一个文件共享只能使用一个

在这里插入图片描述

这个是在window上挂载的情景：

在 Microsoft Windows 上,用户名是smbguest：

net use e: \\ip\bucketname

在这里插入图片描述

Amazon Transfer Family

Amazon Transfer Family支持使用FTP、SFTP和FTPS协议将文件传输到S3：

  • FTP（文件传输协议）：传统的文件传输协议，不加密，适用于低安全需求的环境。
  • SFTP（安全文件传输协议）：基于SSH的文件传输协议，提供加密传输，适合高安全需求。
  • FTPS（FTP安全扩展）：通过TLS加密的FTP协议，同样提供安全的文件传输。

S3F3（S3 File, Folder, and Fun）

S3F3 是一个轻量级的Java程序，用于高效地浏览和管理Amazon S3上的文件和文件夹。它提供了一个直观的界面，使用户可以轻松地进行以下操作：

  • 浏览和导航：轻松浏览S3存储桶中的文件和文件夹，支持多级文件夹结构。
  • 上传和下载：支持大文件的上传和下载，使用多线程技术来提高速度和效率。
  • 文件管理：支持复制、移动、删除和重命名文件及文件夹的操作。

S3 Mount

S3 Mount 允许用户将Amazon S3存储桶挂载为本地文件系统，从而直接在操作系统的文件管理器中访问S3存储。这种方式使得S3的使用变得更加直观和方便。以下是S3 Mount的主要功能：

  • 挂载为文件系统：通过工具如s3fs或rclone，可以将S3存储桶挂载到本地文件系统中，从而使用户可以像使用本地磁盘一样访问S3中的文件。
  • 文件操作：支持标准文件操作，如读取、写入、删除和列表文件。用户可以使用任何文件系统工具（如文本编辑器、脚本等）直接访问S3存储的数据。
  • 自动同步：部分工具支持双向同步，即本地文件更改会自动同步到S3，反之亦然。这对于需要保持本地和云端数据一致性的应用场景非常有用。

NAS设备的同步套件

许多NAS设备配备了同步套件，支持多种存储协议和平台，包括：

  • 云存储：支持兼容S3协议的对象存储、OneDrive、Google Drive等云存储服务。
  • 远程存储：支持NFS、SMB、FTP、CIFS等协议，适应不同的网络环境和存储需求。

由于“永恒之蓝”事件后，445端口被严格管控，使用公网访问SMB几乎不可行。建议使用专线或代理服务器来建立安全的连接。

这些同步套件通常也支持缓存功能，用户可以选择是否启用。启用缓存可以提高访问速度，而不启用缓存则避免了额外的本地存储费用。

应用场景

以下是一些具体的应用场景：

  1. 异地备份：使用Storage Gateway或Transfer Family将NAS中的数据备份到S3，实现数据的异地存储和灾难恢复。
  2. 文件共享和协作：通过设置NFS或SMB协议，多个用户可以访问同一个数据集，提高协作效率。
  3. 自动同步：使用NAS同步套件，将本地和云端的数据保持同步，确保数据的一致性和可用性。

这些方案帮助用户充分利用Amazon S3的弹性和可靠性，结合本地NAS的便利性，实现更高效、安全的数据管理。

AWS加油站
关注
专栏目录
中国象棋-小游戏-NAS-WebStation-HTML5
08-21
NAS（Network Attached Storage）是网络附加存储的缩写，是一种将存储设备通过网络接口连接到网络上的设备。在本项目中，中国象棋小游戏被部署在NAS上的WebStation服务器上。WebStation通常作为一个应用服务器，可以...
【网络】什么是S3 协议和产生背景
热门推荐
bandaoyu的note
06-02 1万+
简介 背景 在互联网发展的今天，近乎所有的云厂商都提供「对象存储服务」。一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。 当我们在使用对应云厂商产品的时候，只需要引入对应尝试提供的 SDK ，根据其开发文档实现即可。但是当我们接入的云厂商较多(或者能够保证接口水平迁移时)，我们要根据目标厂商接口「破坏性修改」。 如下提供了几家厂商接口 SDK 上传实例： ———————————————— 版权声明：本文为C..
S3协议介绍
HOKING的专栏
04-29 9050
Amazon S3 提供了一个简单 Web 服务接口，可用于随时在 Web 上的任何位置存储和检索任何数量的数据。此服务让所有开发人员都能访问同一个具备高扩展性、可靠性、安全性和快速价廉的数据存储基础设施。
aws s3命令手册
最新发布
qq_52098522的博客
08-16 1613
本命令手册旨在为用户提供详尽的aws s3命令解释与用法指南，帮助用户轻松掌握并高效利用aws s3进行文件上传、下载、同步、删除等操作。
查看AWS S3的目录
信息技术智库
04-19 1769
需要注意的是，这些命令仅仅只是查看Bucket下的对象列表，如果您需要查看目录结构，您可以将对象名按照某种规则进行命名，例如将对象名按照"path/to/folder/file.jpg"的方式进行命名，以此来实现对目录形式的模拟。要查看AWS S3存储桶（Bucket）的目录，您可以通过AWS管理控制台或AWS CLI（命令行界面）来实现。
通过S3协议实现通用的文件存储服务中间件
m0_53157173的博客
09-11 3623
但是大家有没有考虑过，不同的厂商或者开源项目提供的客户端sdk都是不同的，如果项目开发过程中，需要切换底层文件系统，那么通常情况下意味着，我们需要完全替换掉相关文件上传代码，如果微服务项目，则需要替换掉所有使用到文件上传sdk微服务的代码，这显然会带来巨大的工作量。在日常开发文件上传相关服务时，通常都会选择腾讯云,阿里云,七牛云等提供的oss服务作为文件存储系统,如果需要自行搭建文件存储系统，通常则会采用minio等开源项目。此处的用户名密码为启动服务时，设置的用户名密码：admin admin123。
轻量级 S3 协议存储客户端
zhangxin09的专栏
04-13 2279
目前大家一般不会把二进制文件直接放在应用服务器上，而是存在“对象存储”的方案中，例如亚马逊的 AWS，阿里云的 OSS、Cloudflare R2 等。AWS 是最早的始作俑者，因此其 S3 协议也近乎标准化，各大厂商的对象存储方案都实现该协议。基本上各家都有提供方便的 SDK 可以用快速调用 S3 服务，不过其中的原理并不是太复杂，笔者一时“手痒”就想打造自己的 S3 客户端。
迷宫-小游戏-NAS-WebStation-HTML5
08-21
NAS是一种将存储设备通过网络接口连接到网络上的设备，常用于家庭和小型办公室的数据存储和共享。WebStation是许多NAS系统中的一个组件，它可以将NAS转换为一个简单的Web服务器，允许用户发布和访问网页、应用程序或...
连连看-小游戏-NAS-WebStation-HTML5
08-21
NAS是一种将存储设备通过网络接口连接到局域网或广域网上，为用户提供文件级数据访问服务的系统。它能够提供集中化的数据存储和备份，便于多用户共享，同时降低了对个人计算机硬盘空间的需求。而WebStation是部分NAS...
扫雷-小游戏-NAS-WebStation-HTML5
08-21
"部署于NAS的WebStation等服务器上"表明它兼容这种类型的服务器，通常WebStation是一个允许用户在NAS上托管Web应用的服务。"分配端口即可使用"意味着用户只需要简单地设置服务器的网络端口映射，就可以通过网络访问...
见缝插针-小游戏-NAS-WebStation-HTML5
08-21
其次，NAS是一种连接到网络的存储设备，允许用户共享和访问存储的数据。QNAP、Synology等品牌提供的NAS设备通常带有WebStation这样的应用程序服务器，它可以托管静态和动态内容，包括HTML5网页和应用程序。Web...
使用docker版minio s3协议同步思源笔记
cly0216的博客
04-09 4715
这里设置后需要重启docker（因为之前创建Bucket和设置区域都没有重启），我在极空间中需要停止-启动才可以。第一个是使用s3协议访问的端口，第二个是进行管理登录的端口，如果本地端口冲突自行更换即可。默认已经配置好了ddns，配置端口转发（tp-link中是虚拟服务器），两个端口都要配置。注意：初次同步是全量同步，耗时较久(与笔记大小有关)，过程中请勿打断，耐心等待同步完成。设置该密钥只能访问指定创建的Bucket，不修改默认是全部权限。注意：docker版只能在创建容器的时候设置用户名和密码。
AWS s3相关命令行——Linux
Y_飞鱼
05-11 2352
AWS s3相关命令行——Linux登录aws：到相应的文件夹adhoc/testaws创建名为nlp的bucketaws删除名为nlp的bucketaws上传文件夹以及文件夹下的文件删除S3上文件删除S3上文件夹以及文件夹下的文件 使用命令跟Linux是一样的，只不过需要加aws s3 aws s3 ls(ls命令) --region cn-northwest-1 s3://adhoc/test 登录aws： aws s3 ls --region cn-northwest-1 到相应的文件夹adhoc
aws s3对象存储与nas的区别
yujiubo2008的专栏
01-12 5396
对比点 nas aws s3 技术 传统的NFS，即挂载共享文件夹 对象存储 协议 文件（NFS、CIFS协议），设计理念就是为了解决文件的共享，并不是为了解决大规模的网络用户访问 对象（OpenStack SWIFT、Amazon S3） 容量 属于文件系统，是文件系统就会有上限，单个netapp ontap文件系统最大20PB 不是文件系统，没有限制，只会收到实际磁盘裸容量限制，可以理解为单个bucket大小无限制 软硬件成本 一个集
AWS S3 协议对接 minio/oss 等
SevenLitile的博客
08-05 4694
S3 API 访问 阿里云oss/minio 等主流兼容S3协议的云存储
spring cloud aws如何使用S3协议
hjnjmjkj的博客
12-01 1944
spring cloud aws如何使用S3协议存储。
SpringBoot开发符合S3协议的文件存储服务
月月鸟先森的博客
07-23 734
s3协议无标准说明文档，为rest风格，创建/删除/详情方法通过PUT/DELETE/HEAD表述很多方法共用一个路由，通过head参数区分（例如putObject和copyObject）参考aws的最新api文档：https://docs.aws.amazon.com/AmazonS3/latest/API/API_CopyObject.html实现以下基础功能Bucket创建Bucket删除文件上传文件删除文件下载文件分片操作（初始化/分片上传/合并）
aws s3 常用命令
迷失的鱼的博客
03-09 4515
$ aws s3 mb s3://bucket-name 删除桶： $ aws s3 rb s3://bucket-name 删除非空桶： $ aws s3 rb s3://bucket-name --force 列出存储桶 $ aws s3 ls 列出存储桶中所有的对象和文件夹 $ aws s3 ls s3://bucket-name 列出桶中 bucket-name/MyFolder 中的对象 $ aws s3 ls s3://bucket-name.
S3对象存储服务映射为本地磁盘使用（windows篇）
system_zhazha的博客
03-04 3126
对象存储服务目前主流方式是通过aws sdk和restapi，以及预签名url等进行访问，也有使用s3cmd，s3browser等开源客户端进行访问。这些访问方式不仅支持数据的访问下载，同时也支持acl，policy，lifecycle，以及cors等配置管理。在部分应用和业务场景下，需要将S3服务作为类文件系统接口，映射到本地使用。目前linux下使用较多的是s3fs，该工具可直接将s3bucket挂载为本地文件系统（而本文主要演示如何windows下将s3bucket映射为本地磁盘。
nas网络连接存储配置步骤
05-18
以下是 NAS 网络连接存储配置步骤： 1. 确定 NAS 的 IP 地址和存储路径。一般来说，NAS 的 IP 地址可以通过路由器的管理页面或者 NAS 的管理页面查看。存储路径表示需要将文件存储到 NAS 中的哪个文件夹下。 2. 打开电脑或者服务器上的文件管理器，比如 Windows 上的资源管理器或者 Linux 上的 Nautilus。 3. 在文件管理器中输入 NAS 的 IP 地址，比如在 Windows 上在地址栏中输入“\\192.168.0.100”，然后按下回车键。 4. 输入 NAS 的用户名和密码，如果没有设置过，可以使用默认用户名和密码登录。 5. 在文件管理器中找到 NAS 中需要存储文件的目录，比如“共享文件夹”。 6. 将需要存储的文件或者文件夹拖拽到 NAS 的目录中，等待传输完成。 7. 检查文件是否已经成功存储到了 NAS 中，可以通过文件管理器或者 NAS 的管理页面进行查看。 以上就是 NAS 网络连接存储配置的步骤，希望能对你有所帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值