先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7
深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
正文
(星爸爸网络上的一张图)
注意上图中的5个人，对没错这5个人。一般情况星巴克的人员配置大概是这样的：
- 1个经理，在办公室
- 两个收银，在收银台（本文关注的重点）
- 三个人做咖啡
当你去过星巴克买咖啡时，你有没有发现或者注意过星巴克收银台有两个，并且不同于肯德基的纵向排队，为什么星巴克是横向排队？
其实星巴克内不仅与云计算有关，他们的流程更与云原生的 DevOps 有莫大关系，本文重点讲解与云计算 ECS 相关这块。
文章目录
AWS EC2 概要
什么是 AWS EC2
AWS EC2 缩写于：Amazon Elastic Compute Cloud，其中文翻译为 xXxX（不知道怎么翻译，反正最好别翻译中文，起码我认识的人只叫 EC2），简单点说 EC2 就是 AWS 中的一台虚拟机，这个名词在 AWS中你会反复听到，也是必须要知道的知识点。
对于这个概念必须要知道两点：1. 它是一个虚拟机，2. 计算是弹性的
面试或者考试可能会考的地方（敲黑板）：EC2 是什么级别的服务（Iaas，PaaS，SaaS）？
AWS EC2 是 IaaS 服务级别。不知道怎么区分的或者看完了Iaas，PaaS，SaaS区分的还是懵逼的，那么就死记硬背下来，如果想理解记忆，那么看完下面小节就明白了
为什么要用云主机 EC2，与传统主机比有和优点
传统的物理主机
当我们创建自己的物理服务器的时候，首先需要的就是要调研，比如需要购买的服务器类型，数量，之后交给公司采购，提交采购单，之后下单购买…等待1~1000年漫长岁月，之后硬件供应商才会把这些硬件交付给你，这个过程最坑逼的是，这些硬件设施并不一定会同时到达。接下来就是你需要将这些主机搬家到自己的数据中心，或者租用的数据中心里，进行安装，调试他们，最后将他们连接起来，之后一堆的杂七杂八的事情，比如接入通电，做一些check等等。
这里面举一个博主遇到的大栗子：之前在政府公司，采购了一批机器，机器自带的系统是Ubuntu，之后要换成Windows server，所有东西弄好之后，发现机器一直连接不上网络，各种360度的排查之后，发现接入的网络是千兆网络，但是做的驱动并不支持千兆网络，后来换了驱动后，顺利介入网络，这个之间排查和 Fix 的过程是需要一定时间的。
做完了前面所说的各种前期准备后，你才真正的开始部署你的应用程序。但是这里需要注意的是，你采购回来的这批主机，已经固定，也就是他们的计算能力当你在下单的时候就已经被决定了，所以你放在上面的应用程序的计算能力，必定被这些物理机器的计算能力所限制。这也就是为什么后面会引入 EC2，因为 EC2 完全不需要担心此类问题。
将应用程序部署在物理服务器上线前准备：
与传统主机比 EC2 的优点
相比传统主机， EC2 可以随时创建和终止不同类型的服务器，相比传统服务器的运维部分，在 AWS中，你不需要来conrtol，这部分服务器的运维工作，完全是 AWS 来负责，你可以认为从购买主机到接入网络调试部分，AWS已经全部完成，你所需要做的就是创建 EC2，之后启动 EC2 使用即可，当然如果有一天你不想用 EC2 了，那么你也可以随时的直接删除掉 EC2 实例。
无论是AWS还是国内的阿里云，华为云等，都会自己自建数据中心（这里如果有兴趣可以参照我的另一篇博文：[ 华为云 ] 云计算中Region、VPC、AZ 是什么，他们又是什么关系，应该如何抉择）
概括总结 EC2 的特点：
- 非常灵活
上面已经说了，你可以随时开关 EC2，也可以随时选择保留或者删除 EC2，其次在 EC2 实例的配置方面也是非常灵活的，比如你选择OS的时候，你可以选择 Linux 或者 Windows，也可以使用配置模板，创建成百上千个 EC2 实例，并且你还可以使用不同的操作系统和配置的组合来满足不同的业务和计算场景。
除去操作系统外，在 EC2实例上软件运行的环境也可以灵活配置，比如数据库，第三方软件，或者自开发应用程序等，在实例的运行方面 客户这面是有完全的控制权。这里再次敲黑板，到这里你应该知道为什么 EC2 是 IaaS 服务了吧，EC2 的 OS 是你在控制，并且实例里面的东西是你来控制，外部的网络或者硬件什么的不需要你来管。这些综合即是 IaaS 解决方案。
垂直缩放实例：当你的 EC2 实例计算能力不满足当前需求时，你可以选择随时的增加或者减少你的服务计算资源（CUP、内存等）
EC2 具有
Auto Scaling的特点，可以根据使用者定义的条件自动增加或者减少 EC2的容量、实例数量等，比如在使用高峰期动态增长保持性能，又可以在低峰期主动缩减，达到降低成本的目的。
- 经济高效且快速
减少了前期采购准备与后期运维等工作，付费只支付正在使用的 EC2 实例，已经停止或者已经终止（删除）的实例付费（敲黑板中…）
EC2 是按照使用的秒数以及执行的个体类型计费。
拓展知识
AWS EC2 是由虚拟化技术实现的，实际这些虚拟机最终还是托管在物理服务器上，当启动某个EC2 的实例时，你不会占用服务器的整个主机，事实是你的 EC2 实例 可能和其他人的 EC2 实例共用一个物理服务器，这也就是常说的虚拟化技术。
多租户模式：在虚拟机之间共享底层硬件的概念被称为多租户模式（multi-tenancy）。这些管理、维护和协调资源的工作也都是由AWS来负责。
AWS 的多租户模式是否安全？
答案是安全的，虽然是多租户共用一个服务器，但是本身每一个 EC2 彼此之间是隔离的，相互之间并不知道彼此所在主机上正在运行其他的 EC2实例。
AWS EC2 实例的类型
之所 EC2 有不同的类型，其原因是他们的分工和处理业务场景不相同，就好比我们做一个项目或者产品，需要PM、BA、前段、后端、DBA等不同的分工，他们擅长的领域也不同，同样Amazon EC2 提供多种经过优化，适用于不同使用案例的实例类型以供选择。
实例类型包括各种 CPU、内存、存储和网络容量，使您可以灵活地为应用程序选择适当的资源搭配。每种实例类型都包含一个或多个实例大小，允许您根据目标工作负载的要求扩展资源（官方描述）。
Amazon EC2 实例类型都归属于一个实例系列，这些实例类型对 CPU、内存、存储和网络容量进行了不同组合，可以灵活地为应用程序选择适当的资源组合。
现时点内( ~更新时间 2023年2月1日01:33:16~ )，亚马逊 EC2 有如下几种类型：
| 实例类型 (中文) | 实例类型(英文) | 实例类型描述 |
|---|---|---|
| 通用类型 | General Purpose | 通用实例提供计算、内存和联网资源三方面的平衡，可用于各种不同的工作负载。这些实例非常适合于以相同比例使用这些资源的应用程序，如 Web 服务器和代码存储库。 |
| 计算优化型 | Compute Optimized | 计算优化型实例非常适用于从高性能处理器获取的受计算限制的应用程序。属于此系列的实例非常适用于批处理工作负载、媒体转码、高性能 Web 服务器、高性能计算（HPC）、科学建模、专用游戏服务器和广告服务器引擎、机器学习推理和其他计算密集型应用程序。 |
| 内存优化型 | Memory Optimized | 内存优化型实例旨在提高可处理内存中大型数据集的工作负载的性能。 |
| 加速计算型 | Accelerated Computing | 加速计算实例使用硬件加速器或协同处理器来执行浮点数计算、图形处理或数据模式匹配等功能，比使用在 CPU 上运行的软件更高效。 |
| 存储优化型 | Storage Optimized | 存储优化型实例旨在用于需要对本地存储上的大型数据集进行高速连续读写访问的工作负载。它们经过了优化，每秒可以向应用程序交付数以万计的低延迟、随机 I/O 操作 (IOPS)。 |
| HPC优化型 | HPC Optimized | 高性能计算（HPC）实例专为在 AWS 上大规模运行 HPC 工作负载提供最佳性价比而构建。HPC 实例特别适用于从高性能处理器（如大型复杂模拟和深度学习工作负载）中受益的应用程序。 |
AWS EC2 计费定价
Amazon EC2 云服务器有五种付费方式：按需实例、Savings Plans、预留实例、Spot 实例，以及专用主机。专用主机可在专供您使用的物理服务器上提供 EC2 实例容量。下面会进行讲解这5中付费方式。
AWS没有带宽的费用，但是有实例流量费。
1. 按需定价（On-Demand）
无需签订合同，按需计费，适合入门，可以用测试工作负载和进行各种尝试时使用。
按需型实例推荐用途：
- 希望拥有低成本和 Amazon EC2 提供的灵活性，且不想支付预付款或签订长期合同的用户
- 具有短期、难应付或无法预测且不能中断的工作负载的应用程序
- 首次在 Amazon EC2 上开发或测试的应用程序
Linux实例按秒计算，windows实例按小时计算。
2. Savings Plans
提供很低的定价，但是需要使用者承诺在 1年 或者 3年 的期限内保持稳定的使用量（xx 美元/小时为单位衡量）。此类定价模式 最高可节省 72%的使用费用。
Savings Plan 的定价模式，也适用于无服务器服务：
Amazon Fargate和Amazon Lambda。
3. 预留实例（Reserved Instances）
此模式计价适用于稳定状态的工作负载或者使用量可以预测的工作负载。与按需定价相比，预留实例可以节省最高 75% 的费用。
这个折扣有个限制，就是必须承诺 1年 或者 3年 的试用期后，才可以享受折扣。
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
或者 3年 的试用期后，才可以享受折扣。
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-t7Sy9LPU-1713334035183)]
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
