云计算概论重要改呢

最新推荐文章于 2022-06-29 11:30:00 发布

richermen

最新推荐文章于 2022-06-29 11:30:00 发布

阅读量885

点赞数 1

分类专栏：综合技术文章（不好分类）

本文链接：https://blog.csdn.net/richermen/article/details/53081004

版权

综合技术文章（不好分类）专栏收录该内容

7 篇文章 0 订阅

订阅专栏

集中式计算、分布式计算、并行计算、云计算的精确定义和区别

分布式计算和集中式计算正好相反。

并行计算和分布式计算在很大程度上有交集。

云计算与分布式计算、集中式计算、并行计算都有交集

集中式计算：这种计算范式是将所有计算资源集中在一个物理系统之内。所有的资源在内部都是共享的，并且紧耦合在一个集成式的操作系统中。

许多数据中心和超级计算机都是集中式系统，但它们都被用于完成并行计算、分布式计算和云计算的应用中。

分布式计算：这种计算范式由众多自治的计算机组成，各自又有各自私有的内存，通过计算机网络进行通信。分布式系统中的信息交换通过消息传递的方式来完成。运行在这种系统上的程序被称为分布式程序。

并行计算：在这种编程方式中，所有处理器或是紧耦合于掌心共享内存，或是松耦合于分布式内存。处理器间通信通过共享内存或通过消息传递完成。

通常称有并行计算能力的计算系统为并行计算机。运行在并行计算机上的程序称为并行程序。

云计算：一个互联网云的资源可以是集中式的，也可以是分布式的。云采用分布式计算或并行计算，或两者兼有。云可以在集中的或分布式的大规模数据中心之上，由物理的或虚拟的计算资源构建。

云计算定义：1、云计算是一种能够在短时间内迅速按需提供资源的服务，可以避免资源过度和过低使用。2.云计算是一种并行的、分布式系统，由虚拟化的计算资源构成，能够根据服务提供者事先商定好的服务等级协议，动态地提供服务。

3.云计算是一种可以调用的虚拟化的资源池，这些资源池可以根据负载动态重新配置，以达到最优化使用的目的。用户和服务提供商事先约定服务等级协议，用户以付费模式使用服务。

云计算特点：服务资源池化②弹性变化③网络化④可度量性⑤可靠性

云计算的商业模式：平台即服务paas为用户提供云计算应用程序的运行环境，提供应用程序部署和管理服务。软件即服务saas为用户提供基于云计算基础平台所开发的应用程序。

基础设施即服务iaas为用户按需提供实体或虚拟的计算、存储和网络等资源。

云计算服务的判定标准:服务应该是随时随地可以接入,服务要永远在线,服务拥有足够大的用户群。

编程模型

MapReduce、Hadoop和Dryad是最近提出的三种并行和分布式编程模型。

MPP需要完成的工作：1.分区（数据分区，程序分区）2.映射（Master,Worker）3.同步、通信4.化简

MapReduce是Google提出的并行程序编程模型，运行在GFS之上。MapReduce任务作业由大量Map和Reduce任务组成。把数据处理过程划分成Map阶段和Reduce阶段。

在Map阶段，读取输入文件块并进行处理，保存中间结果。然后在Reduce阶段，合并多个Map任务的中间结果形成最终结果。

编程模型: 特点：①自动完成数据同步，简化了程序员负担；②自动监控任务执行状态，程序员无需考虑任务失败问题；③通过增加计算节点数量，就可以加快处理速度；

局限：①灵活性低，很多问题难以抽象成Map和Reduce操作；②对迭代算法而言，执行效率比较低；③执行多数聚集的“交运算”时效率不高；

编写并行程序的简单性是衡量并行和分布式编程范式的重要标准。

MapReduce向用户提供两个接口：Map函数和Reduce函数。

根据MapReduce解决问题的策略可知：MapReduce首先将中间数据分组，然后将相同key的value排序并组合在一起，这样产生的结果就是，分组之后所有的中间数据中每一个key都是唯一的。因此，寻找唯一的key是解决一个典型MapReduce问题的出发点。下面略举三个例子来解释如何寻找key和value。

问题1：计算一批文档中每个单词出现的次数。

答案：唯一的key——每个单词；中间的value——出现次数。

问题2：计算一批文档中相同大小、相同字母数量的单词的出现次数。

答案：唯一的key——每个单词；中间的value——单词大小。

问题3：计算一批文档中变位词出现的次数。

答案：唯一的key——每个单词按字母顺序排列后的单词；中间的value——出现次数。

资源调度与管理技术

虚拟化技术: 虚拟化技术是IaaS层的重要组成部分，它是提供资源分享、资源定制和细粒度资源管理的基础

分布式计算:云计算源自超大规模分布式计算，但它并不将任务分解，而是以形式上统一的计算资源提供给用户

节点互联：云计算平台具有“无共享”、“松耦合”的典型特性，通过网络对每个节点进行连接

任务调度技术 :云计算环境下的任务调用需要考虑网络带宽的因素。任务调度算法要研究面向数据本地性的特征。

负载均衡：云计算进行负载均衡的方法有两种：通过增加同工节点数量的横向切分，和对处理流程进行的纵向切分

虚拟化的实现层次

①ISA（instruction set architecture）级虚拟化：通过使用物理主机的ISA模拟一个虚拟的ISA（V-ISA）来实现。基本仿真方式就是代码解释。解释程序将源指令中的每条指令解释为目标指令。它使得我们可以在任何硬件机器上创建任何虚拟的ISA。这个层次的虚拟化，是云计算实现IaaS的主要技术之一

②硬件级虚拟化：通过这个层次的虚拟化，要完成两个方面的任务。其一，为一个虚拟机产生一个虚拟的硬件环境。其二，虚拟化进程可以通过虚拟化来管理真实的硬件。实现IaaS的主要技术之

③操作系统级虚拟化：操作系统级是指处于操作系统和用户应用程序之间的抽象层。利用数据中心的软硬件，在一个单一的物理服务器上，创建隔离的容器和操作系统实例，这是产生像真实的服务器一样运行。这个层次的虚拟化，是云计算实现PaaS的主要关键之一。

④用户API级虚拟化：大部分应用程序使用用户级API，而非操作系统提供的冗长的系统调用来实现。由于大部分系统提供文档玩呗的API，这样的接口就成为虚拟化的另外一个候选。通过API Hook控制应用程序和其他系统部分之间的通信连接，使得带有库接口的虚拟化成为可能。

⑤应用程序级虚拟化：应用程序级虚拟化，将一个应用程序虚拟化为一个虚拟机。常见的方法是部署高级语言（high level language，HLL）虚拟机。

数据中心的虚拟化

数据中心服务器合并：服务器虚拟化是改进硬件资源利用效率的有效途径。合并增强了硬件利用效率，使资源可以更灵活地配置和调度，从而降低总体成本，还可以改进可用性和业务连续性。

虚拟存储管理：定制一个特殊的存储装置虚拟机，该存储装置虚拟机作为处于各个虚拟机和物理存储设备之间的块虚拟化层，它为同一台物理机器之上的每个虚拟机提供一个虚拟磁盘。

数据中心的可信管理：虚拟机具有良好的封装性，被封装的机器状态可以复制，这就要求必须针对虚拟机配备入侵检测技术，以识别非法访问。

任务调度算法

PaaS层海量数据处理平台的任务调度必须考虑网络带宽因素。同时，尽量减少任务执行过程中的网络传输开销，将任务调度到输入数据所在的计算节点进行处理。这种特点，也被有的专家称为“数据本地性（data-locality）”任务调度算法。

中美之间发展环境的差异

①社会环境的差异。美国各行业对云计算的发展相对更为关注，且信用体系完善，用户乐于尝试公有云。国内用户普遍对把自己的数据放在“别人”的平台有疑虑，宁可自费建立私有云。