云计算技术基础知识点

弹性负载均衡器接受来自客户端的传入流量，并将请求转发到一个或多个可用区中的后端服务器。用户可以向弹性负载均衡器添加一个或多个监听器，这些监听器使用配置的协议和端口检查来自客户端的连接请求，并根据定义的分配策略和转发策略将请求转发到后端服务器组里的后端服务器。每个后端服务器组使用指定的协议和端口号将请求转发到一个或多个后端服务器。用户可以开启健康检查功能，对每个后端服务器组配置运行状况检查。当后端某台服务器健康检查出现异常时，弹性负载均衡会自动将新的请求分发到其他健康检查正常的后端服务器上；而当该后端服务器恢复正常运行时，弹性负载均衡会将其自动恢复到服务中。

ELB的优势

高性能：集群支持1亿并发连接，满足用户的海量业务访问需求。

高可用：采用集群化部署，支持多可用区的同城双活容灾，无缝实时切换。

简单易用：快速部署，实时生效

灵活扩展：灵活扩展用户应用的对外服务能力。

ELB应用场景

高访问量业务进行流量分发：对于业务量访问大的业务，可以通过ELB设置相应的分配策略，将访问量均匀地分到多个后端服务器处理。
为潮汐业务弹性分发流量：对于存在潮汐效应的业务，结合弹性伸缩服务，随着业务的增长和收缩，弹性伸缩服务自动增加或减少ECS（云服务器）实例的数量，而负载均衡（ELB）会根据流量分发，健康检查等策略灵活地使用ECS实例资源，在资源弹性的基础上大大提高资源可用性。
消除单点故障：对于可靠性要求较高的业务，可以在负载均衡器上添加多个后端云服务器。负载均衡器会通过健康检查即使发现并屏蔽故障的云服务器，并将流量转发到其他正常运行的后端服务器上，确保业务不中断。
实现业务跨可用区容灾部署：对于可靠性和容灾有很高要求的业务，弹性负载均衡可将流量跨可用区进行转发，建立实时的业务灾部署。即使出现某个可用区的网络故障，负载均衡器仍可将流量转发到其他可用区的后端服务器进行处理。

虚拟专有网（Virtual Private Network）

虚拟专有网（VPN）也称虚拟专用网。是一种广域网网络虚拟化技术。用于在远端用户和虚拟私有云（VPC）之间建立一条安全加密的公网通信隧道，当远端用户需要访问VPC业务资源时，可以通过VPN连接VPC。

VPN由VPN网关和VPN连接组成，VPN网关提供了虚拟私有云的公网出口，与用户本地数据中心侧的远端网关对应。VPN连接通过公网加密技术，将VPN网关与远端网关关联，使本地数据中心与私有云通信，更快速、安全地构建混合云环境。

VPN技术允许用户通过加密的隧道传输数据，确保数据在传输过程中的安全性和完整性，即使数据在公共网络中传输，也不会被未授权的第三方截获或篡改。

VPN的优势

高安全：基于IKE和IPsec对传输数据加密。

无缝扩展：用户本地数据中心与云上VPC互联。

低成本：利用Internet构建IPsec加密通道。

即开即用：在用户数据中心的VPN设备进行简单配置即可完成对接。

VPN应用场景

１.单站点VPN连接

通过VPN将本地数据中心与虚拟四有缘快速连接起来，构建混合云。（线下到线上）

２.多站点VPN连接

通过建立VPN将多个本地数据中心和VPC快速连接起来，构建混合云（线上）

NAT网关（Network Address Translation）

NAT能够为VPC内的计算机实例提供网络地址转换服务，使多个计算机实例共享弹性ip访问互联网。NAT网关分为公网NAT网关和私网NAT网关。

NAT的优势

1.降低成本：多个云主机使用弹性公网IP

2.灵活部署：支持跨可用区部署。NAT网关的规格，公网IP随时调整。

3.多样易用：配置简单，运维简单，即开即用。

NAT应用场景：

1.使用SNAT访问公网：

当VPC（虚拟私有云）内的云主机需要访问公网时，请求量大时，为了节省IP，避免云主机ｉｐ直接暴露在公网上，NAT网关可以为用户提供不同规格的连接数。

2.用dnat为云主机面向公网提供服务（公网NAT）

当VPC内的云主机需要面向公网提供服务时，可以使用NAT网关的DNAT功能。

3.企业网络统一管理：

如公司总部要求所有分公司，部门将各自的地址映射为符合企业安全规范的统一地址进行互通，用户可使用私网NAT，使企业家上云皇后无需对网络做任何更改即可保持原有方式互通。

云服务设备

云服务器（ECS）

云硬盘（EVS）

云硬盘（Elastic Volume Service, EVS）可以为弹性云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求，适用于分布式文件系统、开发测试、数据仓库以及高性能计算等场景。云服务器包括弹性云服务器和裸金属服务器。

EVS的默认类型是VBD，编程模式是SCSI，只支持简单的SCSI读写命令。

云硬盘的三副本：

　　云硬盘的存储系统采用三副本机制来保证数据的可靠性，其特点如下：存储系统自动确保三个数据副本分布在不同服务器的不同物理磁盘上，单个硬件设备的故障不会影响业务。

　　存储系统确保三个数据副本之间的数据强一致性。

副本重建技术：当存储系统检测到硬件发生故障，自动启动数据修复。由于数据块的副本分散存储在不同节点上，数据修复时将会在不同节点上同时启动数据重建。

云硬盘性能的主要指标包括：

IOPS：云硬盘每秒进行读写的操作次数。
吞吐量：云硬盘每秒成功传送的数据量，即读取和写入的数据量。
IO读写时延：云硬盘连续两次进行读写操作所需要的最小时间间隔。

适合云硬盘的编程模式是scsi。

云硬盘的优势

包括：规格丰富,弹性扩展、实时监控、安全可靠。

云硬盘的存储系统采用”三副本“机制来保证数据的可靠性。

华为云硬盘服务官方文档：什么是云硬盘_云硬盘 EVS_产品介绍 (huaweicloud.com)

云容器引擎CCE

网络附属存储（NAS）

NAS是连接在网络上，具备资料存储功能的装置。使用TCP／IP网络协议标准加入网络。

SAN

SAN是一种储存技术。它依托光纤通道(Fibre Channel)为服务器和存储设备之间的连接提供更高的吞吐能力，支持更远的距离和更可靠的连通。

云存储服务

对象存储服务（OBS）

对象存储服务（Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。

OBS的基本组成是桶和对象。桶是存储对象的容器，用户可以创建桶，和上传和下载对象，通过转发链接分享数据。

OBS是扁平化结构，租户间数据隔离。

对象的组成是键值（key）、元数据（metadate）、数据（date）

对象存储服务的优势包括

数据稳定，业务可靠，

多重防护，授权管理，

千亿对象，千万并发、

简单易用，便于管理、

数据分层，按需使用。

对象存储服务OBS产品架构：

　　桶（Ｂｕｃｋｅｔ）是OBS中存储对象的容器。对象存储提供基于桶和对象的扁平化存储方式，桶中的所有对象都处于同一逻辑层架，去除了文件系统中多层级树级的存储结构。

对象存储服务OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景，向用户提供低成本、高性能、不断业务、无须扩容的解决方案。

华为官方介绍文档：什么是对象存储服务_对象存储服务 OBS_产品介绍 (huaweicloud.com)

弹性文件服务（SFS）

弹性文件服务（Scalable File Service，SFS）提供按需扩展的高性能文件存储（NAS），可为云上多个弹性云服务器（Elastic Cloud Server，ECS），容器（CCE&CCI）、裸金属服务器（BMS）提供共享访问。

弹性文件服务的优势包括：文件共享，弹性区域，高性能高可靠性，无缝集成，操作简单成本低。

弹性文件服务的应用场景包括“大容量扩展以及成本敏感型业务，如媒体处理、文件共享、高性能计算（HPC）、数据备份”等。

华为官方介绍文档：什么是弹性文件服务_弹性文件服务 SFS_产品介绍 (huaweicloud.com)

虚拟化

虚拟化是指通过虚拟化软件将计算机系统中的个物理资源抽象成逻辑资源。

虚拟化技术包括硬件虚拟化，操作系统虚拟化，网络虚拟化，存储虚拟化，服务器虚拟化。应用内程序虚拟化。

服务器虚拟化的底层实现包括：I/O虚拟化、CPU虚拟化、内存虚拟化。

现有的虚拟机隔离机制主要包括网络隔离，基于访问控制的逻辑隔离，硬件提供的内存保护机制。

虚拟化技术（6种）

虚拟化技术包括以下6种类型：

硬件虚拟化：通过软件模拟硬件设备，如CPU、内存、硬盘等，创建虚拟的计算机环境。
操作系统虚拟化：在宿主操作系统上创建多个隔离的用户空间实例，通常称为容器化，每个容器包含一个应用程序及其依赖项。
网络虚拟化：将网络资源抽象化和隔离，创建多个独立的虚拟网络实例，提高网络的灵活性和可管理性。
存储虚拟化：将物理存储资源抽象化，创建更灵活、可管理的存储结构，提高存储资源的使用效率。
服务器虚拟化：将一台物理服务器分割成多个虚拟服务器，每个虚拟服务器可以运行不同的操作系统和应用程序。服务器虚拟化的底层实现包括IO虚拟化，cpu虚拟化，内存虚拟化。服务器虚拟化并不会增加资源消耗。
桌面虚拟化：将一台物理计算机分割成多个虚拟桌面，每个虚拟桌面可以运行不同的操作系统和应用程序。
应用程序虚拟化：将应用程序打包成一个独立的虚拟容器，可以在不同的操作系统和硬件平台上运行，提高应用程序的可移植性和兼容性

三种虚拟网络

桥接模式：允许虚拟机直接使用主机的物理网络适配器。

NAT网络：通过宿主机作为中介，将虚拟机和外部网络隔离开来。可以与外网通信，但外网无法与ｎａｔ主机通信。

仅主机网络；允许虚拟机只能与宿主机通信．

存储虚拟化

存储虚拟化是一种技术，它通过在存储系统中引入一个逻辑层，使得管理员可以通过这个逻辑层来访问或调整存储资源，从而提高存储的利用率和性能。这种技术可以将不同的存储设备进行格式化，将各种存储资源转化为统一管理的数据存储资源，使得用户对存储的管理更加同质化。存储虚拟化又分基于主机的存储虚拟化，基于存储设备的存储虚拟化，基于存储网络的存储虚拟化。

基于主机的存储虚拟化

通过在一个或多个主机上进行安装和部署，来实现存储虚拟化的控制和管理。可扩充性较差，性能不好。由于这种方法要求在主机上安装控制软件，因此一个主机的故障可能影响整个SAN系统中数据的完整性。基于主机的虚拟化实现起来比较容易，设备成本最低

基于存储设备的存储虚拟化

优点是与主机无关，不占用主机资源。. 数据管理功能丰富

通过第三方的虚拟软件，基于存储的虚拟化通常只能提供一种不完全的存储虚拟化解决方案。这种技术主要用在同一存储设备内部，进行数据保护和数据迁移。优势在于与主机无关，不占用主机资源，数据管理功能丰富。容易和某个特定存储供应商的设备相协调，所以更容易管理

基于存储网络的存储虚拟化

优点是与主机无关，不占用主机资源，支持异构存储设备，. 统一不同的存储设备的数据管理功能，可扩展性好，能解决不同存储、主机兼容问题

根据位置不同分为基于交换机的存储虚拟化和基于元数据的服务器网络存储虚拟化。

基于存储网络的虚拟化方法是在网络设备之间实现存储虚拟化功能。通过存储网络（一般是SAN网络）中添加虚拟化引擎实现。与主机无关，不占用主机资源；支持不同主机、不同存储设备；有统一的管理平台、扩展性好。但也存在缺点，如部分厂商数据管理功能弱，难以达到虚拟化统一数据管理的目的；部分厂商产品成熟度较低，仍然存在和不同存储和主机的兼容性问题

寄居虚拟化

寄居虚拟化，也称为“宿主模型”或“基于宿主机的虚拟化”，依赖于宿主操作系统（如Windows或Linux）来管理和运行虚拟机的技术。如果主操作系统出现问题，所有虚拟机都会出现问题。

裸机虚拟化

裸机虚拟化，也称为Type 1、硬件虚拟化或原生虚拟化，在物理服务器上直接运行虚拟机监控程序（Hypervisor）的虚拟化技术，而不需要底层的宿主操作系统。

虚拟机迁移

虚拟机迁移的过程是“预迁移－》预复制－》停机－》启动－》后复制”。

１.预迁移（Pre-migration）：这个阶段主要是准备迁移所需的信息，包括确定源主机和目标主机，以及确保两个主机之间可以通信。
２.预复制（Pre-copy）：这个阶段是第一次迭代，源主机会将所有的内存内容复制到目标主机中。这是为了确保在执行停机操作之前，目标主机已经拥有了源主机的完整状态。
３.停机（Stop-and-copy）：在这个阶段，源主机上的虚拟机会被暂停，任何还未复制到目标主机的内存更改都会被记录下来，然后这些更改会在虚拟机被重新启动之前复制到目标主机上。
４.启动（Start）：这个阶段是在目标主机上启动已经迁移过来的虚拟机，此时虚拟机应该能够在新的环境中正常运行。
５.后复制（Post-copy）：如果有未完成的写操作或者网络通信，这些会在这个阶段完成，以确保源主机和目标主机的状态完全一致。

迁移存储设备的最大障碍是在于需要占用大量时间和网络带宽，通常的解决方法是”以共享的方式共享数据和文件系统”。

VMM（virtual machine monitor）虚拟化监视器

VMM通常指的是“虚拟机监视器”（Virtual Machine Monitor），它是一种软件或固件，用于创建和运行虚拟机。VMM的主要功能是隔离和管理物理计算资源，以便多个虚拟机可以在同一台物理机上同时运行，而不会相互干扰。这种技术允许更有效地利用硬件资源，提高系统的灵活性和可靠性。在某些文献或系统中，VMM也被称为Hypervisor。

云计算协议

隧道协议

隧道协议是一种网络协议，用于将一个网络协议的数据包封装在另一个数据包中进行传输。

软件定义网络（SDN）

软件定义网络将网络分为“控制层”与“数据层”。

链路聚合

将多个网卡设备聚合以提高网络可靠性的一种网络技术。

谷歌产品

文件存储Google file system GFS

大规模数据处理 MapReduce

分布式锁Chubby

分布式结构化数据表BigTable

分布式存储系统Megastore

分布式监控系统dapper

海量数据交互式分析工具dremel

内存大数据分析系统powerdrill

全球分布式关系型数据库spanner

谷歌四大核心技术

谷歌文件系统（Google File System）

简称GFS，是谷歌最早发布的云计算技术论文，是一个分布式文件存储系统，具有容错机制，解决了大数据文件存储的问题，hadoop的HDFS就是基于它的开源实现。

GFS系统特点：中心服务器模式，不缓存数据，在用户态下实现，master和chunk server都已进程方式运行。单个进程不影响整个操作系统。GFS和操作系统运行在不同的空间，两者耦合性低。只提供专用文件系统接口，降低系统的复杂度，

大规模数据处理MapReduce

发布于2004年，提供一个分布式大数据批量处理计算模型。

分布式结构化数据表Bigtable

发布于2006年，启发了随后无数的Nosql数据库

分布式锁Chubby

发布于2006年，用来解决分布式系统中最难解决的数据一致性问题。

云安全

云安全主要考虑的关键技术包括

数据安全
应用安全
虚拟化安全
客户端安全