AWS 专题学习 P6 (CloudFront、Global Accelerator、Snow Family)

已于 2024-01-25 23:35:09 修改
阅读量823 收藏 21
点赞数 18
分类专栏： 云计算 文章标签： aws 云计算
于 2024-01-18 23:18:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40815218/article/details/135591357
版权

文章目录

专题总览

专题内容总览和系列博客目录
https://blog.csdn.net/weixin_40815218/article/details/135590291
辅助资料(PDF)
https://download.csdn.net/download/weixin_40815218/88741566

1. Amazon CloudFront

  • 内容分发网络 (Content Delivery Network - CDN)
  • 提高读取性能，对内容进行边缘缓存
  • 改善用户体验
  • 全球 216 个接入点（边缘位置）
  • DDoS 防护（因为全球范围内）、与 Shield 集成、AWS Web 应用程序防火墙

CloudFront – Origins

  • S3 存储桶
    • 用于分发文件并在边缘缓存它们
    • 通过 CloudFront 源访问控制 (OAC) 增强安全性
    • OAC 正在取代 Origin Access Identity (OAI)
    • CloudFront 可用作入口（将文件上传到 S3）
  • 自定义来源 (HTTP)
    • 应用程序负载均衡器
    • EC2 实例
    • S3 网站（必须首先将存储桶启用为静态 S3 网站）
    • 想要的任何 HTTP 后端

CloudFront 处于高水平

Screenshot 2023-07-10 at 21.26.53.png

CloudFront – S3 作为源

Screenshot 2023-07-10 at 21.27.51.png

CloudFront 与 S3 跨区域复制

  • CloudFront：
    • 全球边缘网络
    • 文件缓存一段时间（也许一天）
    • 非常适合必须随处可用的静态内容
  • S3 跨区域复制：
    • 必须为希望进行复制的每个区域进行设置
    • 文件近乎实时更新
    • 只读
    • 非常适合需要在少数区域以低延迟提供的动态内容

CloudFront – ALB or EC2 as origin

Screenshot 2023-07-10 at 21.29.07.png

CloudFront 地理限制

  • 可以限制谁可以访问您的发行版
    • 许可名单：仅当网站用户位于已批准国家/地区列表中的国家/地区之一时，才允许他们访问内容。
    • 阻止列表：如果网站用户位于禁止国家/地区列表中的国家/地区之一，则阻止他们访问内容。
  • “country”是使用第三方 Geo-IP 数据库确定的
  • 使用案例：控制内容访问的版权法

CloudFront - Pricing

  • CloudFront 边缘站点遍布世界各地
  • 每个边缘位置的数据输出成本各不相同

Screenshot 2023-07-10 at 21.29.52.png

CloudFront – Price Classes

  • 可以减少边缘站点的数量以降低成本
  • 三个价格等级：
    • 全部价格等级：所有地区 – 最佳性能
    • 价格等级200：大多数地区，但不包括最贵的地区
    • 价格等级100：仅限最便宜的地区

Screenshot 2023-07-10 at 21.30.46.png

CloudFront - 价格等级

Screenshot 2023-07-10 at 21.31.18.png

CloudFront – Cache Invalidations（缓存失效）

  • 如果您更新后端源，CloudFront 不会知道，只会在 TTL 过期后获取刷新的内容
  • 但是可以通过执行 CloudFront 失效来强制刷新整个或部分缓存（从而绕过 TTL）
  • 可以使所有文件(*) 或特殊路径(/images/) 无效

Screenshot 2023-07-10 at 21.32.33.png

2. AWS Global Accelerator

How to help App Global

  • 已经部署了一个应用程序，并且拥有想要直接访问该应用程序的全局用户。
  • 它们通过公共互联网，由于跳数较多，可能会增加大量延迟
  • 我们希望尽可能快地通过 AWS 网络以最大程度地减少延迟

Screenshot 2023-07-10 at 21.32.50.png

Unicast IP vs Anycast IP

  • 单播IP：一台服务器拥有一个 IP 地址
  • 任播IP：所有服务器都拥有相同的 IP 地址，客户端被路由到最近的服务器

Screenshot 2023-07-10 at 21.33.07.png

简介

Screenshot 2023-07-10 at 21.33.19.png

  • 利用 AWS 内部网络路由到应用程序
  • 会为应用程序创建 2 个任播 IP
  • 任播 IP 直接将流量发送到边缘站点
  • 边缘站点将流量发送到应用程序
  • 适用于弹性 IP、EC2 实例、ALB、NLB、公共或私有

Good To Know

  • “一致性” 性能
    • 智能路由以实现最低延迟和快速区域故障转移
    • 没有客户端缓存问题（因为 IP 不会改变）
    • 使用内部 AWS 网络
  • 健康检查
    • Global Accelerator 会对应用程序定期执行健康检查
    • 有助于应用程序全球化（切换到可用服务器的故障转移不到 1 分钟）
    • 有助于灾难恢复（得益于运行状况检查）
  • 安全
    • 只需要将 2个 外部 IP 列入白名单
    • AWS Shield 提供 DDoS 防护

AWS Global Accelerator vs. CloudFront

  • 都使用了 AWS 全球网络及其遍布全球的边缘站点
  • 两项服务均与AWS Shield 集成以提供 DDoS 防护。
  • CloudFront
    • 提高了可缓存内容（例如图像和视频）的性能
    • 动态内容（例如API 加速和动态站点交付）
    • 内容在边缘提供
  • AWS 全球加速器
    • 通过 TCP 或 UDP 提高各种应用程序的性能
    • 将边缘的数据包代理到一个或多个AWS 区域中运行的应用程序。
    • 非常适合非 HTTP 用例，例如游戏 (UDP)、物联网 (MQTT) 或 IP 语音
    • 适合需要静态IP 地址的HTTP 使用案例
    • 适用于需要确定性、快速区域故障转移的 HTTP 使用案例

3. Advanced Storage on AWS

AWS Snow Family

  • 高度安全的便携式设备，用于在边缘收集和处理数据，以及将数据迁入和迁出AWS
  • 数据迁移：Screenshot 2023-07-13 at 20.47.45.png
  • 边缘计算：Screenshot 2023-07-13 at 20.48.14.png

使用 AWS Snow Family 进行数据迁移

Screenshot 2023-07-13 at 20.48.51.png
挑战：

  • 连接数有限
  • 带宽有限
  • 网络成本高
  • 共享带宽（无法最大化线路）
  • 连接稳定性

AWS Snow Family：离线设备执行数据迁移
如果通过网络传输需要一周以上的时间，请使用 Snowball 设备！

Diagrams

  • 直接上传到 S3：

Screenshot 2023-07-13 at 20.49.29.png

  • 使用 Snow Family：

Screenshot 2023-07-13 at 20.50.13.png

Snowball Edge（用于数据传输）

  • 物理数据传输解决方案：将 TB 或 PB 级的数据移入或移出 AWS
  • 通过网络移动数据（并支付网络费用）的替代方案
  • 对 data transfer job 付费
  • 提供 块存储 和 与 Amazon S3 兼容的对象存储
  • Snowball Edge 存储优化
    • 80 TB HDD 容量，用于块卷和 S3 兼容对象存储
  • Snowball Edge 计算优化
    • 42 TB HDD 容量，用于块卷和 S3 兼容对象存储
  • 用例：大型数据云迁移、DC 退役、灾难恢复

AWS Snowcone & Snowcone SSD

  • 小型便携式计算，随时随地，坚固安全，可承受恶劣环境
  • 轻便（4.5 磅，2.1 千克）
  • 用于边缘计算、存储和数据传输的设备
  • Snowcone – 8 TB HDD 存储
  • Snowcone SSD – 14 TB SSD 存储
  • 在 Snowball 不适合的地方使用 Snowcone（空间受限的环境）
  • 必须自备电池/电缆
  • 可以离线发送回 AWS，或将其连接到互联网并使用 AWS DataSync 发送数据

AWS Snowmobile

  • 传输 EB 数据（1 EB = 1,000 PB = 1,000,000 TB）
  • 每个 Snowmobile 都有 100 PB 的容量（多个并行使用）
  • 高安全性：温度控制、GPS、24/7 视频监控
  • 如果转移超过 10 PB，则比 Snowball 更好

AWS Snow Family for 数据迁移

Screenshot 2023-07-13 at 20.51.00.png

Snow Family – 使用流程

  1. 在 AWS 控制台上请求 Snowball 设备用于交付
  2. 在您的服务器上安装 Snowball 客户端/AWS OpsHub
  3. 将 Snowball 设备连接到您的服务器并使用客户端复制文件
  4. 完成后将设备送回（前往正确的 AWS 设施）
  5. 数据将被加载到 S3 存储桶中
  6. Snowball 设备将被完全擦除

什么是 边缘计算？

  • 在边缘位置创建数据时对其进行处理
    • 公路上的卡车、海上的轮船、地下的采矿站…
  • 这些地点可能有
    • 互联网访问受限/无法访问
    • 计算能力有限/不易获得
  • 我们设置 Snowball Edge / Snowcone 设备来进行边缘计算
  • 边缘计算的用例：
    • 预处理数据
    • 边缘机器学习
    • 对媒体流进行转码
  • 最终（如果需要）我们可以将设备运回 AWS（例如用于传输数据）

Snow Family — 边缘计算

  • Snowcone 和 Snowcone SSD（较小）
    • 2 个 CPU、4 GB 内存、有线或无线访问
    • 使用电源线或可选电池的 USB-C 电源
  • Snowball Edge – Compute Optimized
    • 52 个 vCPU、208 GiB RAM
    • 可选 GPU（用于视频处理或机器学习）
    • 42 TB 可用存储空间
  • Snowball Edge – Storage Optimized
    • 多达 40 个 vCPU、80 GiB RAM
    • 可用的对象存储集群
  • 全部：可以运行 EC2 实例和 AWS Lambda 函数（使用 AWS IoT Greengrass）
  • 长期部署选项：1 年和 3 年折扣定价

AWS OpsHub（运营中心）

  • 过去，要使用 Snow 系列设备，用户需要 CLI（命令行界面工具）
  • 现在，可以使用 AWS OpsHub（用户安装在计算机/笔记本电脑上的软件）来管理 Snow Family 设备
  • 解锁和配置单个或集群设备
  • 传输文件
  • 启动和管理在 Snow 系列设备上运行的实例
  • 监控设备指标（存储容量、设备上的活动实例）
  • 在设备上启动兼容的 AWS 服务（例如：Amazon EC2 实例、AWS DataSync、网络文件系统 (NFS)）

Screenshot 2023-07-13 at 20.51.30.png

解决方案架构：Snowball into Glacier

  • Snowball 无法直接导入到 Glacier
  • 必须首先使用 Amazon S3，并结合 S3 生命周期策略

Screenshot 2023-07-13 at 20.52.09.png

喵王叭
关注
  • 18
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cloudfront-autoindex:AWS Lambda解决index.html S3CloudFront混乱
05-09
不再将index.html与AWS CloudFront / S3混为一谈 问题 考虑您有一个静态生成的网站-一堆常用资源，包括html文件。 为了方便起见，您可以使用开发Web服务器在本地测试此站点，并且一切正常。 您设置了一个私有S3存储...
aws cloudfront
weixin_46192667的博客
06-01 1419
cloudfront为亚马逊的CDN，默认全球边缘节点加速申请流程1.源必须是域名，以www.ppiaas.net为例，aws-cache.ppiaas.com指向43.247.68.7，作为亚马逊的源，这个源配了http和https，即http://aws-cache.ppiaas.com:19089,https://aws-cache.ppiaas.com:14432.进入亚马逊cloudfront申请页面，配置好源，会生成xxx.cloudfront.net 2.www.ppiaas.net放在go
AWS 中仅允许 CloudFront访问的安全组创建
JeffreyWang的技术博客
11-22 1211
文章目录目的思路操作过程创建安全组创建Lambda执行角色创建函数代码改进第10行自动更新更新 EC2 或 ELB 的安全组策略总结 目的 生产环境中出于安全和并发的考虑，一般会用 CDN 和 LB 为后端服务/资源进行加速和并发防护，在 AWS 中，CDN 服务是 CloudFront，为了从根源上避免直接访问到源，需要通过安全组的方式组织非 CloudFront 边缘节点的访问。 思路 根据官方博客 How to Automatically Update Your Security Groups for
AWS 专题学习 P8 (ECS、EKS、Lambda、CloudFront、DynamoDB)
weixin_40815218的博客
01-20 1257
Docker 是一个用于部署应用程序的软件开发平台Docker 容器可以在任何操作系统上运行，应用程序运行在容器中应用程序运行过程相同，无论它们在何处运行 —> 行为可预测无兼容性问题，更易于维护和部署减少工作量使用案例：微服务架构、将应用程序从本地直接迁移到 AWS 云，…这是在 AWS 上启动托管 Kubernetes 集群的一种方法Kubernetes 是一个开源系统，用于自动部署、扩展和管理容器化（通常是 Docker）应用程序。
AWS之S3套CloudFront的CDN
fxtxz2的专栏
04-07 1130
问题 需要给S3访问套一层CDN，AWS的CDN是CloudFront。 解决 主要步骤 创建公私钥密钥对 创建配置密钥组 创建CloudFront分配 测试（Java签名URL） 创建公私钥密钥对 生成私钥文件 openssl genrsa -out private_key.pem 2048 使用openssl命令生成私钥文件：private_key.pem 生成公钥文件 openssl rsa -pubout -in private_key.pem -out public_key.pem 通过私
terraform-aws-waf-global
03-12
terraform-aws-waf-global Terraform模块-创建全局WAF。 它是100％开源的，并根据许可。用法这只是一个基本说明。 将此存储库作为模块包含在现有Terraform代码中： module " waf-global " { source = " ...
aws-cloudfront:使用无服务器组件为提供的来源部署AWS CloudFront分配
05-22
aws-cloudfront 使用为提供的源部署AWS CloudFront分发。1.安装$ npm install -g serverless2.建立$ mkdir cdn$ cd cdn 该目录应如下所示： |- serverless.yml|- .env # your AWS api keys # .envAWS_ACCESS_KEY_ID=...
AWS官方文档：CloudFront Glacier ImportExport S3 StorageGateway
07-11
AWS官方文档：CloudFront Glacier ImportExport S3 StorageGateway
aws-lambda-short-url：使用terraform通过带有AWS API Gateway，CloudFront，Lambda，Route 53和S3的自定义域，快速设置自己的短URL生成器
02-04
使用terraform通过带有AWS API Gateway，CloudFront，Lambda，Route 53和S3的自定义域，快速设置自己的短URL生成器。 方法 计划使用CloudFront在CloudFront网络边缘缓存重定向的网页，这些网页将从短URL重定向到完整...
亚马逊云科技AWS将推出数据工程师全新认证(有资料)
m0_66628975的博客
04-28 1198
随着人工智能、大模型的爆火，数据的数量、质量、安全和多样性已经成为了AI发展的最关键因素，数据也成为21世纪最重要的资产。如何处理好数据，提升数据的质量，是当下最🔥的话题，数据工程师岗位及认证也逐渐成为就业市场的香饽饽。AWS认证体系最近更新，在原有12张的基础上，将在2023年11月27日添加第13张，数据工程师助理级认证(Data Engineer Associate)，并且在2024/1/12前半价(省75刀＝544人民币。➡️数据的处理、分析和对数据管道的管理。➡️数据的安全保护和治理。
阿里云详细介绍，与AWS和GCP比较
Coder加油站的专栏
04-30 2555
阿里云也与全球各地的企业和教育机构建立了合作，推动云计算和AI技术的研究和应用。作为中国领先的云服务提供商，阿里云凭借其在本地市场的深厚根基和全球化战略，以及在技术创新和行业解决方案方面的持续投入，已成为全球云计算领域的重要力量。：由于其服务的广泛性和成熟度，AWS吸引了各种类型的客户，从初创公司到大型企业，以及政府和教育机构。：谷歌的强项在于其技术创新，特别是在数据分析和机器学习领域，因此它特别受到那些依赖高级数据处理功能的企业的欢迎，如科技公司、数据分析公司和教育研究机构。确保数据安全和合规性。
helm安装 AWS Load Balancer Controller
云深海阔专栏
05-03 1084
1、创建AmazonEKSLoadBalancerControllerRole角色2）、使用 eksctl 创建 IAM 角色a、安装eksctl使用以下命令下载并提取最新版本的 eksctl$(uname-s将提取的二进制文件移动到 /usr/local/bin使用以下命令测试您的安装是否成功。您必须使用 eksctl 0.34.0 版本或更高版本b、创建AmazonEKSLoadBalancerControllerRole角色报错启用 IAM OIDC 提供程序，否则会报以上错如果。
分享自己一篇在亚马逊云科技AWS官网发的Blog技术文章
m0_66628975的博客
05-02 529
小李哥在亚马逊AWS官网，作为第一作者发了自己的第一篇AWS Blog文章，也是自己今年在AWS官网的第11篇文章。文章主要内容是描述为出海的金融企业，搭建满足PCI-DSS合规、FIPS 140-2 Level 3安全标准的传输中数据加密云端方案，主要用于金融行业企业级客户(Fortune 50、全美Top3客户)。AWS Blog是AWS官方出品的技术博客，博客文章主要由内部员工发起，主要介绍基于当前热门用户场景的行业解决方案和实施细节。下面就是本篇Blog的主要内容。
AWS最近宣布Amazon Q现已全面上市
2301_79342058的博客
05-01 1249
Amazon Q是目前市场上最先进的生成式AI助手，具有业界领先的准确性、高级代理功能和一流的安全性，帮助开发者提高生产力，帮助商业用户加速决策制定，”AWS人工智能与数据副总裁Swami Sivasubramanian博士表示。《Amazon Q简介》提供了关于Amazon Q的高层概述，包括用例和益处，而《Amazon Q Business入门》向开发者和技术受众介绍Amazon Q Business的功能和用例，并解释如何使用Amazon Q构建聊天机器人。不要错过这个机会，成为AI领域的领跑者。
AWS详细介绍与GCP比较
Coder加油站的专栏
04-30 876
Amazon Web Services (AWS) 是亚马逊公司的云服务平台，提供广泛的全球云基础设施服务。自2006年推出以来，AWS已发展成为市场上最大、最广泛使用的云服务提供商之一，提供超过200种功能丰富的服务，覆盖计算、存储、数据库、分析、网络、移动、开发者工具、管理工具、物联网、安全和企业应用等。
云计算知识点-03
lv785的博客
04-28 1699
云计算技术能将许许多多分散在低利用率服务器上的工作负载整合到云中，来提升资源的使用效率，而且云由专业管理团队运维，所以其PUE（powerUsageEffectiveness，电源使用效率)值比普通企业的数据中心出色很多，比如Google数据中心的PUE值在1.2左右，即每l元钱的电力花在计算资源上，只需再花2角钱的电力在制冷等设备上，而常见的PUE在2和3之间。在云中，不论是应用、服务和资源的部署，还是软硬件的管理，主要通过自动化的方式执行和管理，也极大地降低了整个云计算中心的人力成本。
infrared-remote-candroid studiodemo
最新发布
05-05
android studio下载
请给我一份学习AWS的视频学习资料
02-15
您可以在AWS的官方网站上访问免费的学习资源，其中包括课程视频和实验室练习： - AWS官方课程：https://aws.amazon.com/training/ - AWS云端学习路径：https://aws.amazon.com/cn/cloud-skills/learning-paths/ - AWS入门教程：https://aws.amazon.com/getting-started/hands-on/ 您也可以在第三方网站上观看相关课程，例如： - Udemy：https://www.udemy.com/topic/aws/ - Coursera：https://www.coursera.org/courses?query=AWS - Pluralsight：https://www.pluralsight.com/search?q=aws 希望这些信息对您有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值