云计算知识

一：云计算简介

定义:美国国家标准与技术研究院（NIST）定义：云计算是一种模型，它可以实现随时随地、便捷的、随需应变的从可配置计算资源共享池中获取所需的资源（如：网络、服务器、存储、应用、服务），资源能够快速供应并释放，使管理资源的工作量和与服务提供商的交互减小到最低限度。

通俗的理解：

如果我们想要做一个自己的网站，传统的方式下，我们需要自己学习Web三件套：Html、Css、Javascript。还需要学习数据库MySql的代码编写，需要自己搭建好网站运行的服务器，想要被公网访问，我们还需要注册域名，DNS解析，网站备案等一系列的操作。这是一个漫长的、费时费力的过程。

而云计算平台能够将这一系列的流程都提前帮我们做好，我们需要的只是在云计算平台购买一个轻量级服务器，并且自己设计好网页的内容，就可以快速上线一个网站了。省时省力（当然，费钱包）。

云计算的发展

传统IT建设和云计算IT建设的差别

云计算的特点

• 虚拟化技术
• 动态可扩展性
• 按需部署
• 灵活性高
• 可靠性高
• 性价比高
• 地理分布
• 先进安全技术

二：云计算服务类型

1.基础设施即服务 IaaS（Infrastructure as a Service）

        服务商出租处理能力、存储空间、网络容量等基本计算资源。

        目前中小型企业或用户都是购买这类基础性框架服务。

2.平台即服务 Paas（Platform as a Service）

        服务商提供给用户一套可编程、可开发的云环境（针对于开发者）。

3.软件即服务 Saas（Software as a Service）

        服务器提供给客户一套在云环境下的工具、应用程序。

一个形象举例：

传统架构=自己做饭 自己买菜，在厨房做饭，在客厅吃饭

IaaS=叮咚买菜 帮你买好菜，在厨房做饭，在客厅吃饭

PaaS=美团外卖 帮你做好饭。在客厅吃饭

SaaS=餐厅吃饭 吃就完事

三：云计算部署形式及应用

1.部署形式：私有云

利用已有或租用基础设施资源自我构建的云。云端资源只给一个单位组织内的用户使用。这是私有云的核心特征。

•         优点：可根据自己要求构建、安全性高。
•         缺点：需要IT团队，成本高。

2.部署形式：行业云

为特定社区或行业所构建的共享基础设施的云。云端资源专门给固定的几个单位内的用户使用，而这些单位对云端具有相同诉求。

• 优点：有一个用户体系，方便。
• 缺点：需要IT团队，成本高。

3.部署形式：公有云

构建大型的基础设施的云出租给公众。云端资源开放给社会公众使用，基本上只要给钱，谁都可以用。

• 优点：对用户来说成本低，服务多。
• 缺点：安全性低

4.部署形式：混合云

由两种或两种以上部署形式组成的云。他们各自独立，用标准/专有的技术将他们组合起来，实现云数据之间数据和应用程序的平滑流转。

• 优点：敏捷、灵活、降低成本
• 缺点：兼容性问题

应用

服务用户范围：公有云>行业云>私有云

安全性：私有云>行业云>公有云

四：云计算关键技术

虚拟化

虚拟化是一种计算机资源管理技术，将各种IT实体资源抽象、转化成另一种形式的技术都是虚拟化。例如操作系统中的虚拟内存。

分布式数据存储技术

将数据存储在不同物理设备中。这种模式不仅摆脱了硬件设备的限制，同时扩展性更好，能够快速相应用户需求的变化。

数据中心联网

这个不太理解。

并行编程技术

在并行编程模式下，并发处理、容错、数据分布、负载均衡等细节都被抽象到一个函数库中，通过统一接口，用户大尺度的计算任务被自动并发和分布执行，即将一个任务自动分成多个子任务，并行的处理海量数据。

体系结构

云计算平台体系结构由用户界面、服务目录、管理系统、部署工具、监控和服务器集群组成。

1. 用户界面：主要用于云用户传递信息，是双方互动的界面。
2. 服务目录：用户选择的列表
3. 管理系统：对应用价值较高的资源进行管理
4. 部署工具：能够根据用户请求对资源进行有效的部署与匹配
5. 监控：对云系统上的资源进行管理与控制并指定措施
6. 服务器集群：包括虚拟服务器与物理服务器，隶属管理系统

自动化部署

五：虚拟化简介

虚拟化是一种计算机资源管理技术，将各种IT实体资源抽象、转化成另一种形式的技术都是虚拟化。例如操作系统中的虚拟内存。

云计算与虚拟化的关系

        从行业数据互相关联的角度来说：云计算是极度依赖虚拟化的。但虚拟化并非云计算，云计算也并非虚拟化。虚拟化只是云计算的核心技术，但并非云计算的核心关注点。

        云计算：一种服务

        虚拟化：一种技术基础

一个服务有了技术支持才能进行服务

虚拟化中的几个概念

其中：VMM（Virtual Machine Monitor）虚拟机监控器为最核心部分。

虚拟化特点

分区：指可以在一台服务器上运行多台虚拟机使一台服务器运行多个程序。

隔离：分区完后的所有虚拟机之间相互隔离，每个虚拟机像单独的物理主机。

封装：整个虚拟机运行条件封装在独立文件夹中，可通过移动文件夹的方式来迁移虚拟机

相对于硬件独立：虚拟机运行在虚拟化层，不必考虑物理机。

六：虚拟化类型

寄居虚拟化

在主机（宿主）操作系统上安装和运行虚拟化程序。

特点：

• 简单、易于实现
• 安装与运行应用程序依赖于主机操作系统对设备的支持。
• 有两层OS，管理开销较大，性能损耗大
• 虚拟机对各种物理设备的调用，都通过虚拟化层和宿主机的OS一起协调才能完成

易于实现，但总体开销较大。

Vmvare Workstation和VirtualBox都是基于这种方式。

裸金属虚拟化

直接将VMM（Virtual Machine Monitor）安装在硬件设备上，VMM在这种模式下又叫Hypervisor，虚拟机有指令要执行时，Hypervisor会接管该指令，模拟相应的操作。

特点

• 不依赖操作系统
• 支持多种操作系统
• 依赖虚拟化层内核和服务器控制台进行管理
• 需要对虚拟层的内核进行开发

开销小，但是难实现。

VMware ESX、Xen、华为 FusionSphere基于这种方式。

混合虚拟化

在一个现有的正常操作系统下安装一个内核模块，内核虚拟化能力。（相当于寄居与裸金属的混合）

特点：

• 相对于寄居虚拟化架构，性能高
• 相对于裸金属虚拟化架构，不需要开发内核
• 可支持多种操作系统
• 需底层硬件支持虚拟化扩展功能

Redhat KVM基于这种方式

七：虚拟化层架构

全虚拟化 代表：KVM

即所抽象的VM具有完全的物理特性，虚拟化层负责捕获CPU指令，为指令访问硬件充当媒介。

特点

• OS无需修改
• 速度和功能都不错，使用非常简单
• 移植性好

属于上一章的混合虚拟化。

全虚拟化-KVM（kernel-Based Virtual Machines)

一个基于Linux内核的虚拟化技术，可以直接将Linux内核转换为HyperVisor。从而使得Linux内核能够直接管理虚拟机，直接调用Linux内核中的内存管理、进程管理子系统来管理虚拟机。

组成：由处于内核态的KVM模块和用户态的QEMU两部分组成。

半虚拟化 代表：Xen

起初是为了解决全虚拟化效率不高的困难，它需要修改os，工作效率相对全虚拟化要高很多，Hypervisor直接安装在物理机上，多个虚拟机在Hypervisor上运行。一般是一个特殊定制的Linux系统。

属于上一章虚拟化类型中的裸金属虚拟化。

特点：

• 架构更精简
• 在整体速度上有一定优势
• 需要对OS进行修改，在用户体验方面较差。

半虚拟化-Xen

硬件辅助虚拟化 代表：intel cpu

随着虚拟化技术的应用越来越广泛Intel、AMD等硬件厂商通过对硬件的改造来支持虚拟化技术。

KVM架构与Xen架构对比

八：容器

容器：包装或装载物品的贮存器。利用一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任一Linux或Windows机器上，也可以实现虚拟化。相互之间不会有任何的接口，实现APP与操作系统的解耦。

镜像：可执行的独立软件包，包含软件运行的内容：代码，运行时环境，系统工具，系统库和设置。（容器就是将OS上层的应用进行了隔离）

主流容器技术：Docker

属于Linux容器的一种封装，是目前最流行的Linux容器解决方案。

作用：将应用程序与该程序的依赖，打包在一个文件里。运行这个文件，就会生成虚拟容器。程序在这个虚拟容器内运行，就好像在真实的物理机上运行一样，有了Docker，就不用担心环境问题。

核心：实现应用与运行环境整体打包以及打包格式统一。

一个完整的Docker有以下几个部分组成：

容器特点

容器本质上是一款轻量级虚拟化技术

• 用户需要高效运行环境，而非整个机器。
• 一次构建，到处运行
• 部署方便
• 隔离性好（在应用程序层面）

容器与虚拟化的区别

容器的应用场景

九：计算虚拟化简介

在资源上可以将虚拟化技术分为：

1. 计算虚拟化
2. 存储虚拟化
3. 网络虚拟化

一个虚拟机的完整创建正是通过虚拟化技术这三部分。

从服务器组件角度来看，计算虚拟化可分为：

1. CPU虚拟化：保障CPU资源的合理调度以及VM上的指令能够正常高效的执行
2. 内存虚拟化：保障内存空间的合理分配、管理、隔离，以及高效可靠的使用
3. I/O虚拟化：保障VM的IO隔离与正常高效的执行

常见的计算服务架构

十：CPU虚拟化

作用：保障CPU资源的合理调度以及VM上的指令能够正常高效的执行。

在物理机（宿主机）中通过线程和进程这种纯软件方式模拟出假的CPU，通过CPU虚拟化就可以将一个物理CPU发给不同的虚拟机使用。

虚拟出来的每颗CPU其实就是一个线程或者进程，因此物理CPU核数要大于虚拟CPU的总核数。

计算公式：
VCPU个数=服务器CPU个数x单个CPUx核数x线程
总资源=VCPU*主频

其中，超线程为2，单线程为1。

实例：某服务器有四个主频为3.0GHZ的CPU，每个CPU四核，超线程，问，可以虚拟多少个VCPU和总资源？

  解：每个CPU有4核*2线程=8线程，四个CPU，为4*8=32。总共可以虚拟的VCPU=32

总资源=32*3.0GHZ=96GHZ

CPU QoS

CPU QoS（Quality of Service） 服务质量，用来控制虚拟机使用CPU资源量的大小。

NUMA

NUMA（Non Uniform Memory Access Architecture）非统一内存访问体系结构。提高物理服务器性能的一种技术。

十一：内存虚拟化

内存虚拟化：保障内存空间的合理分配、管理、隔离，以及高效可靠的使用。

类似操作系统中的内存虚拟。

内存虚拟化类型

内存复用技术

内存服用QoS

十二：IO虚拟化

保障VM的IO隔离与正常高效的执行

I/O环适配功能

十三：常见集群策略

集群是什么？

集群是一种计算机系统，通过一组计算机或服务器的软硬件连接起来高度紧密地协作完成计算工作。在客户端看来为其提供服务的只有一台设备，实际上它是一群设备地集合，只不过这些设备提供的服务一样。

虚拟机HA

动态资源调度（DRS）

分布式电源管理（DPM）

十四：常见存储类型

现网中的存储设备为存储虚拟化的实现提供了资源基础。

常用的存储类型有：

1. 本地磁盘
2. DAS
3. NAS
4. SAN

本地磁盘

服务器本地的磁盘资源，通过RAID化后提供虚拟化平台使用。

优点：使用方便；缺点：无共享框架；对跨服务器来说没有备份、冗余机制。

DAS：直连式存储

DAS（Direct-Attached Storage）直连式存储：一个存储设备与使用存储空间的服务器直接相连的架构。

NAS：网络附加存储

NAS（Network Attached Storage）网络附加存储：将分布、独立的数据进行整合，集中化管理，以便对不同主机和应用服务器进行访问的技术。

SAN：存储区域网络

SAN（Storage Area Networks）存储区域网络：是一种高速的、专门用于存储操作的网络，通常独立于计算机局域网。

十五：存储虚拟化简介

把多个存储介质（如硬盘、RAID）通过一定的技术将它们集中起来，组成一个存储池并进行统一管理，从主机和工作站的角度看是一个超大容量的硬盘。将多种、多个存储设备统一管理起来，为用户提供大容量、高数据传输性能系统成为存储虚拟化。

十六：存储模式

存储模式分类

在存储虚拟化中，以是否使用虚拟化技术将存储模式分为：

• 非虚拟化存储
• 虚拟化存储
• 裸设备映射

非虚拟化存储

传统的存储模式，就是把磁盘进行分区，分割成不同的逻辑卷，每一个逻辑卷可以给到虚拟机进行使用。（PC 常见分C，D卷）

虚拟化存储

将不同的存储设备、磁盘进行格式化，格式化的目的是屏蔽底层存储设备的能力、接口协议等差异性，将各种存储资源转化为统一管理的数据存储资源。

裸设备映射

将磁盘直接给到虚拟机使用，让虚拟机直接处理调用存储的命令（直接访问磁盘）中间虚拟化层不在对其进行任何干预（不需要创建卷）

存储虚拟化方法

存储虚拟化可以展现给用户一个灵活的、逻辑的数据存储空间。

实现存储虚拟化的方法有：

• 基于主机的存储虚拟化
• 基于存储设备的虚拟化
• 基于网络的存储虚拟化

基于主机的存储虚拟化

若仅是单个主机服务器（或单个集群）访问多个磁盘阵列，可采用基于主机的存储虚拟化。

基于存储设备的虚拟化

若多个主机服务器需要访问同一个磁盘阵列时，可采用基于存储设备虚拟化。

基于网络的存储虚拟化

通过在存储区域网（SAN）中添加虚拟化引擎实现的，主要用于异构存储系统的整合和统一数据管理。

十七：存储虚拟化功能

存储虚拟化可以提高硬件资源的使用效率，简化系统管理的复杂度，增强云存储平台的可靠性。

主要通过以下功能来实现：

• 精简磁盘和空间回收
• 快照和快照链
• 链接克隆
• 虚拟磁盘文件迁移

精简磁盘和空间回收

用于提高存储资源的使用效率、减小虚拟机未使用空间在主机上占用率过大的问题。

快照

指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点（拷贝开始的时间点）的映像。

快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。

快照作用主要是能够进行在线数据备份与恢复。

快照方式

创建快照时会生成一个新的差分卷，虚拟机会挂载这个差分卷作为磁盘文件。

• ROW 写时重定向

• COW 写时拷贝

快照链

链接克隆

将源卷和差分卷组合映射为一个链接克隆卷，给虚拟机使用。一个链接克隆需要和原始虚拟机共享同一虚拟磁盘文件。

虚拟磁盘文件迁移

十八：网络虚拟化

 

虚拟化中的网络架构

网卡虚拟化

网卡虚拟化的方法有：

• 软件网卡虚拟化

        

• 硬件网卡虚拟化

虚拟化软件交换机

虚拟网络

链路虚拟化：虚链路聚合

链路虚拟化：隧道协议

虚拟网络

层叠网络

层叠网络技术-VXLAN

虚拟专用网

尾言

本文文字与图片来自B站Up主动感光波biubiuiuO录制视频。BV185411W7PJ