大数据架构本科课程

大数据架构

马上就要专业课考试了，因为老师上课不用课本只用PPT讲课，复习的时候也不怎么好复习，所以就在这里把主要的概念和原理做一个总结，一个是加深自己的印象，另一个是向大数据专业的小白大体上介绍一下大数据中的云计算、大数据计算框架、大数据系统架构以及常用的大数据软件工具——Hadoop、Spark、Flink的工作原理。

云计算概述

云计算定义

云计算是一种商业计算模型 。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。通过网络按需提供可动态伸缩的廉价计算服务 ，是一种普遍适用的资源治理思维和模式。

云计算特征

• 资源虚拟化和池化统一管理
• 超大规模、高可用、高伸缩
• 弹性、按需、自助提供服务
• 泛在接入、准确计费、价格低廉

三类服务模式

1、基础设施及服务 IaaS（Infrastructure as a Service）

• 提供服务器、存储和网络等计算资源服务
• 主要功能：
  用户按需支付 IaaS ，无需购买整套硬件。
  可根据处理和存储需求扩展基础架构。
  节省企业购买和维护硬件的成本。
  数据位于云端，不会有单点故障。

2、平台即服务 PaaS（Platform as a Service）

• 提供开发、管理和交付的环境软件，如操作系统、数据库、中间件、开发平台。

• 主要功能

  提供开发平台和工具，用于软件厂商快速开发、测试、部署运行。
  软件厂商专注于开发，无需担心底层基础架构。
  云厂商保证平台的安全性、可靠性和稳定性。

3、软件即服务 SaaS（Software as a Service）

• 通过网络提供云端软件服务。
• 主要功能
  用户付费订阅软件，通过互联网直接访问应用软件，无需管理、安装或者升级软件。
  数据在云端受到保护，设备故障不丢失。
  可根据服务需求对资源用量进行扩展。

云计算体系结构

1、SOA构建层

封装云计算能力为标准Web services服务，并纳入到SOA体系。

2、管理中间件层

云计算的资源管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用服务

云计算的核心技术

云计算核心技术主要有虚拟化和容器化，其中容器化技术因为利用共享的操作系统内核，打包应用及其运行环境，比虚拟化更加轻量、快速、低开销，所以是近些年比较受开发人员追捧的技术。

虚拟化技术

虚拟化（Virtualization ）是将计算机资源抽象映射为虚拟的逻辑实体，突破物理资源的界限进行统一管理，构建云计算环境的核心基础技术。

1、服务器虚拟化

虚拟机（Virtual Machine） VM

将一台计算机（物理机、物理服务器）虚拟为多台逻辑计算机

• 每台虚拟机拥有独立的“硬件”。
• 虚拟机“硬件”是使用物理机的硬件模拟而来的。
• 虚拟机执行的工作，实际是由物理机硬件完成的。

虚拟机监视器（ Virtual Machine Monitor ）VMM

VMM是实现物理机虚拟为虚拟机的操作系统或者软件。主要功能是为虚拟机提供虚拟的硬件资源，负责管理和分配这些资源，并确保虚拟机之间的相互隔离。

VMM两种工作模式

1 Hosted 模式（寄居模式、托管模式）： VMM 运行在物理机的操作系统上，安装使用简易方便，性能较低。

寄居虚拟化的虚拟化层一般称为虚拟机监控器（ VMM ）。VMM 通过调用 host OS 获得资源，实现 CPU 、内存和 I/O 设备的虚拟化。 VMM 创建的虚拟机作为 host OS 的一个进程参与调度。寄居模式下 VMM 可以充分利用 host OS 功能来操作硬件设备；但是经过中间环节导致系统损较大。

2 Hypervisor 模式（裸金属模式）： VMM 直接运行在物理机的硬件上，提供接近于物理机的性能。

架构中的 VMM 是一个操作系统，一般称为Hypervisor 。Hypervisor = OS + 虚拟化——具备传统操作系统功能，具备虚拟化功能，包括虚拟资源到物理资源的映射，虚拟机系统的隔离。提供接近于物理机的性能，但是支
持的 I/O 设备有限。

服务器虚拟化技术分类

• 完全虚拟化（Full Virtualization）
• 半虚拟化（Para Virtualization）
• 硬件辅助虚拟化（Hardware Assisted Virtualization）

完全虚拟化

VMM为Guest OS模拟了完整的底层硬件，客户机操作系统不知道自己运行在虚拟机中。当一个进程要调用CPU指令时，直接对虚拟的CPU进行调用，但无法执行，需要封装转换为对Host OS的指令调用，进而通过内核对真正的CPU指令调用（中间消耗较多资源，性能较差）。
使用场景：客户机操作系统及其系统软件不作任何修改就可以在虚拟机中运行。兼容性很好，安装使用简单，但性能较低。

半虚拟化

半虚拟化需修改Guest OS 的内核，把原来在物理机上执行的特权指令或者敏感指令，修改成 VMM 的超级调用。Guest OS知道自己运行在虚拟机环境中，不能直接调用内核的特权指令和敏感指令，它通过Host的内核直接对CPU进行调用，因为中间减少了虚拟化封装解码等操作，性能提升，但实现困难。

硬件辅助虚拟化

CPU厂商改造 CPU ，引入新的指令和运行模式，帮助VMM 高效地识别和截获敏感指令， 从硬件层面支持虚拟化。通常， Guest OS 的核心指令可以直接下达计算机系统硬件执行，无需经过 VMM 。对于特殊指令，系统会切换到 VMM ，让VMM 来处理特殊指令。

2、存储虚拟化

将底层存储设备抽象化和统一池化管理，独立对外提供存储服务。

容器化技术

容器化是在操作系统内核上的轻量级的虚拟化技术。利用共享的操作系统内核的功能，建立一系列资源相互隔离的封闭运行环境，这些封闭运行环境就像一个个容器（container ），应用程序就部署运行在其中。其优势是轻量、敏捷、易扩容、支持DevOps，提高资源利用率节约成本、加速产品迭代、支持微服务架构、实现运维自动化。