云计算和云存储的定义与概念

一、什么是云计算？

云计算（英语：Cloud Computing），也被意译为网络计算，是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源（存储空间）和信息（信息服务）可以按需求提供给计算机各种终端和其他设备，使用服务商提供的电脑基建作计算和资源。

二、谁在使用云计算？

生活中常见的云计算提供商？ 各种类型、规模和行业的组织都将云用于各种使用案例，例如数据备份、灾难恢复、电子邮件、虚拟桌面、软件开发和测试、大数据分析以及面向客户的 Web 应用程序。例如，医疗保健公司正在使用云为患者开发更多个性化治疗方法。金融服务公司正在使用云为实时欺诈检测和预防提供支持。视频游戏制作商正在使用云为全球数百万玩家提供在线游戏。 阿里云、亚马逊云（aws）、腾讯云、金山云、百度云等等

三、云计算的发展历史？

1959年，Christopher Strachey发表的虚拟化技术。

1969年，阿帕网（ARPANET）问世奠定了Internet存在和发展的基础。

1999年，Salesforce.com成立，称为第一家通过网站提供企业应用程序的公司，同年，Google成立，所提供的搜索服务可以返回海量搜索结果。

2006年，Google首席执行官Eric Schmidt在搜索引擎大会首次提出“云计算”的概念；同年，亚马逊推出弹性计算云服务。

2007年10月，谷歌与IBM开始在美国大学校园，包括卡内基美隆大学、麻省理工学院、斯坦福大学、加州大学柏克莱分校及马里兰大学等，推广云计算的 计划，这项计划希望能降低分布式计算技术在学术研究方面的成本，并为这些大学提供相关的软硬件设备及技术支持（包括数百台个人电脑及BladeCenter与System x服务器，这些计算平台将提供1600个处理器，支持包括Linux、Xen、Hadoop等开放源代码平台）。而学生则可以透过网络开发各项以大规模计算为基础的研究计划。

2008年1月30日，谷歌宣布在台湾启动“云计算学术计划”，将与台湾台大、交大等学校合作，将这种先进的大规模、快速计算技术推广到校园。

2008年7月29日，雅虎、惠普和英特尔宣布一项涵盖美国、德国和新加坡的联合研究计划，推出云计算研究测试床，推进云计算。该计划要与合作伙伴创建6个数据中心作为研究试验平台，每个数据中心配置1400个至4000个处理器。这些合作伙伴包括新加坡资讯通信发展管理局、德国卡尔斯鲁厄大学Steinbuch计算中心、美国伊利诺大学香宾分校、英特尔研究院、惠普实验室和雅虎。

2008年8月3日，美国专利商标局网站信息显示，戴尔正在申请“云计算”（Cloud Computing）商标，此举旨在加强对这一未来可能重塑技术架构的术语的控制权。戴尔在申请文件中称，云计算是“在数据中心和巨型规模的计算环境中，为他人提供计算机硬件定制制造”。

2010年3月5日，Novell与云安全联盟（CSA）共同宣布一项供应商中立项目，名为“可信任云计算项目”。

2010年7月，美国国家航空航天局和包括Rackspace、AMD、Intel、戴尔等支持厂商共同宣布“OpenStack”开放源码项目，微软在2010年10月表示支持OpenStack与Windows Server 2008 R2的集成；而Ubuntu已把OpenStack加至11.04版本中。

2011年2月，思科系统正式加入OpenStack，重点研制OpenStack的网络服务。

2011年，苹果发布了iCloud，让人们随时，随地的存储和共享内容。

2012年，谷歌发布GoogleDrive，为喜欢收集数据的人提供了免费的云存储空间。

2013年，IBM收购SoftLayer，提供业界领先的私有云解决方案。

2014年，微软正式宣告Micrsoft Azure在中国式商用；同年，微软Office 365正式落地。同年，Google发布K8s的开源项目。

2016年，微软宣布Micrsoft Philanthroples计划；同年，VMware和亚马逊旗下公司Amazon Web Services达成战略联盟。

2017年，AWS宣布创建了新的基于KVM虚拟化引擎。

四、云计算的基本思想

五、云计算基本特征

• 按需自助服务 指的是用户可以根据自己的需要去购买资源。可以自己在云平台的管理控制台自助方式去完成，无需人工干预。
• 无处不在的网络服务 指的是我们使用网络来获取云计算提供商的服务，就像我们使用电网来获取电能一样。
• 弹性敏捷 指的是云计算可以很好的适应需求的变化，云上的资源随时根据需要自动分配或回收。
• 资源池化 指的是云平台上的各类软硬件资源和服务被组合在一起形成了资源池，方便用户按需租用资源。
• 可度量 指的是使用云上的资源使用了多少是可以度量的系统会根据使用的资源的规模按量计费。

六、云计算的部署模型

1.公有云

        公有云是一种云计算，由第三方服务提供商通过公用互联网向用户提供计算资源，包括从即用型软件应用到单个虚拟机 (VM)，再到完整的企业级基础架构和开发平台的任何内容。 这些资源可能免费提供，也可能会根据基于订阅或按使用量付费的定价模式出售访问权限。（之前说过的阿里云这些，可以这样理解公有云就像是一个大型的超市，当我们去超市的时候，是不是会看见一些免费试吃的东西和需要付费的东西。）

2.私有云

        私有云是专为某家企业运营的云基础架构。 通常，私有云托管在本地，位于客户自己的防火墙内，但也可以托管在专用云提供商或第三方基础架构之上。 在这两种情况下，客户都对基础架构具有专属的单独访问权限。 私有云支持企业利用云的效率，同时加强资源控制，提升数据安全性和合规性，并能避免与其他云客户共享资源可能带来的性能和安全影响。 一个通俗易懂的比喻是，私有云计算就像单户住宅，而公有云计算就像在多单元建筑中租用一间或一栋公寓。

3.混合云

        混合云融合私有云和公有云，使用技术和管理工具，让企业根据需要在两者之间无缝迁移工作负载，进而实现最佳性能、安全性、合规性和成本效益。 例如，借助混合云，企业可将无法轻松上云的敏感数据和原有任务关键型应用保存在本地，同时利用公有云部署 SaaS 应用，利用 PaaS 快速部署新应用，以及利用 IaaS 按需提供额外的存储或计算容量。 大多数企业云采用者都选择混合云架构，这便于他们灵活地为每个工作负载选择最佳云环境（公有云或私有云），或者随着需求的变化在不同云之间迁移工作负载。

七、云的分类

八、什么是云存储？

        云存储是一种云计算模型，该模型可以通过云计算提供商将数据和文件存储在互联网上，而您可以通过公共互联网或专用的专用网络连接访问这些数据和文件。提供商安全地存储、管理并维护存储服务器、基础设施和网络，以确保您在需要时能够以几乎无限的规模和弹性容量访问数据。借助云存储，您无需购买和管理自己的数据存储基础设施，这样就可提供敏捷性、可扩展性和耐用性，并可随时随地访问数据。

九、云存储服务模型

云计算的模型主要有三种。每种模型代表着云计算堆栈的一个独特部分。

1.基础设施即服务 (Infrastructure as a service，IaaS)

        消费者使用“基础计算资源”，如处理能力、存储空间、网络组件或中间件。消费者能掌控操作系统、存储空间、已部署的应用程序及网络组件（如防火墙、负载平衡器等），但并不掌控云基础架构。例如：Amazon AWS EC2、Rackspace。卖计算资源的。

2.平台即服务 (Platform as a service，PaaS)

        消费者使用主机操作应用程序。消费者掌控运作应用程序的环境（也拥有主机部分掌控权），但并不掌控操作系统、硬件或运作的网络基础架构。平台通常是应用程序基础架构。例如：谷歌 App Engine。卖开发环境的。

3.软件即服务 (Software as a service，SaaS)

        消费者使用应用程序，但并不掌控操作系统、硬件或运作的网络基础架构。是一种服务观念的基础，软件服务供应商，以租赁的概念提供客户服务，而非购买，比较常见的模式是提供一组账号密码。例如：Adobe Creative Cloud，Microsoft CRM与Salesforce.com。卖软件的。

这些部署给我们的层次结构

十、存储的发展历史？

        说到存储，就需要追溯到我们古代的结绳记事，逐渐到甲骨文的发现，再到后面的竹简、造纸术、印刷术等等，这些都是古代的存储技术的发展。回到我们近代，随着技术的进步，逐渐诞生了

1. 磁带和硬盘存储（1950年代-1980年代）：

        磁带存储： 早期计算机系统主要使用磁带存储数据，磁带提供了相对较大的存储容量。

        硬盘存储： 随着硬盘技术的发展，硬盘逐渐替代磁带成为主要的数据存储介质。硬盘提供更快的访问速度和更高的存储密度。

2. 网络存储（1990年代-2000年代初）：

        网络附加存储（NAS）： 引入了基于网络的存储，使得多台计算机可以通过网络访问同一份存储。NAS设备成为局域网中常见的存储解决方案。

        存储区域网络（SAN）： SAN技术提供了高性能、高可用性的块级存储，适用于需要大规模数据交换和共享的企业环境。

3. 分布式存储和虚拟化（2000年代中期-2010年代初）：

        分布式存储系统： 随着大规模数据的爆发式增长，分布式存储系统如Hadoop Distributed File System（HDFS）等开始崭露头角，以适应大规模数据处理的需求。

        虚拟化技术： 服务器虚拟化和存储虚拟化技术的兴起使得资源管理更为灵活，同时提高了硬件利用率。

4. 全闪存和混合云（2010年代中期-至今）：

        全闪存阵列： 传统存储系统逐渐采用全闪存技术，提高了存储性能和响应速度。

        混合云和多云战略： 企业开始将传统存储与云存储结合，采用混合云和多云战略，以提高灵活性和降低成本。

5. 超融合（2010年代末-至今）：

        超融合基础设施（HCI）： 超融合系统集成了计算、存储、网络等多个基础设施组件，简化了数据中心的管理和维护，提供了更加灵活和可扩展的存储解决方案。

6. 边缘存储和物联网（近年来）：

        边缘存储： 随着边缘计算和物联网的发展，存储需求从数据中心延伸到边缘设备，边缘存储越来越重要。

        物联网存储： 存储系统逐渐适应大量物联网设备生成的数据，提供适应性更强、更实时的存储解决方案。

十一、存储介质的发展？

存储介质是数据存储的关键。让我们看看存储介质的言表过程吧！

        1951 年，磁带首次被用在计算机上存储数据。

        1956 年，世界第一块硬盘驱动器出现。其容量只有 5MB，随机访问每秒读写次数(Input/Output Operations Per Second，IOPS)大约为1.5 次，单个IO 延时为600ms。该磁盘的运输需要借助飞机。

        1968 年，8 英寸软盘被开发出来。

        1980年，闪存登上了存储的历史舞台。

        1983 年，借助于巨磁阻、垂直记录、充氨等技术，磁盘开始小型化，成为桌面级磁盘，单盘容量也达到 2.52GB 以上，IOPS 提升到了160次。和第一代磁盘相比，其各方面能力有了巨大的提升。 在这样的背景下，以NAND型闪存（NAND Flash Memory，NAND Flash）为代表的固态硬盘（Solid State Disk，SSD）应运而生。

NAND Flash

        NAND Flash（非易失性闪存）是一种非易失性存储技术，通常用于构建闪存设备，如固态硬盘（SSD）、USB闪存驱动器、存储卡等。它是一种基于闪存电池的存储技术，与传统的硬盘驱动器（HDD）相比，具有较快的读/写速度、更小的体积、更轻的重量和更低的能耗。NAND Flash的名称源自逻辑门 NAND（非与非），这是一种基本的逻辑门电路。NAND Flash存储单元是由浮动栅（floating gate）构成的，而浮动栅的状态（是否带电）决定了存储单元的状态，表示0或1。

        NAND Flash的特点包括：

        非易失性： 数据在断电时仍然保持，不需要持续的电源供应。

        快速读/写速度： NAND Flash具有较快的读取和写入速度，使其成为许多存储设备的理想选择。

        高密度存储： NAND Flash芯片可以实现高密度的存储，因为它们可以在同一芯片上集成大量的存储单元。

        低功耗： 相对于传统的机械硬盘驱动器，NAND Flash通常具有较低的功耗。

        耐用性： NAND Flash具有较长的擦写寿命，即可以擦写多次而不损坏。

        NAND Flash的不同类型包括单层式存储单元SLC（Single-Level Cell）、多层式存储单元MLC（Multi-Level Cell）、三层式存储单元TLC（Triple-Level Cell）和四层存储单元QLC（Quad-Level Cell），它们在每个存储单元中存储位数不同，从而影响了存储密度和性能。

NVMe SSD

        NVMe（NVM Express）代表非易失性内存表达（Non-Volatile Memory Express），是一种用于连接计算机系统和固态硬盘（SSD）的接口和协议。NVMe SSD是一种使用NVMe接口的固态硬盘，与传统的SATA接口相比，它提供更高的性能和更低的延迟。NVMe SSD通常用于需要高速数据传输和响应速度的应用，如高性能计算、数据中心服务器、工作站等。

        通过 NVMe接口取代了传统的串行高级技术附件(Serial Advanced Technology Attachment,SATA)/串行连接SCSI(Serial Attached SCSl)接口及其协议，CPU和硬盘之间的交互直接通过高速串行计算机扩展(Peripheral ComponentInterconnect express，PCIe)总线完成，应用层采用高性能的NVMe 命令及其协议进行数据及控制交互。接口层面的改变拉近了 CPU 和硬盘的距离，可以更好地发挥半导体存储介质的性能。

        在异常断电的情况下，NVMeSSD 内部缓存中的数据在超级电容的保护下得到持久化，保证了数据的可靠性。和传统存储介质相比，NVMeSSD的性能要远远优于传统磁盘和SATASSD。NVMeSSD与SATASSD及机械硬盘(Hard DiskDrive，HDD)的性能对比。

十二、存储系统架构的演变

        第一阶段，硬件主导的存储系统架构，硬件在存储系统设计过程中占较大比例。

        第二阶段，软件主导的存储系统架构，以软件定义的方式实现存储系统的功能。

        第三阶段，面向云端的软硬件协同存储系统架构，重新定义硬件和软件的边界，协同设计，最大限度地发挥硬件的能力和软件的灵活性，构建面向数据中心的大规模分布式存储。

硬件主导的存储系统架构

        早期的存储系统设计都以硬件为核心，为了实现高效的 10 处理，需要设计合理的硬件体系结构。随着以x86为核心的存储服务器平台逐步成熟，存储系统的设计开始基于 x86 服务器架构，通过高速互连将 x86 服务器连接。此时的存储节点硬件会有一定程度的定制，保证存储节点的可靠性和I/O性能。

        双控磁盘阵列是企业传统存储的典型架构，如图所示。该架构由两个存储控制器构成，存储控制器之间通过高速互连连接。阵列的前端通过光纤通道(Fibre Channel，FC)或者Internet小型计算机系统接口(Internet Small Computer SystemImnterface，iSCSI)协议导出逻辑卷，后端通过SAS扩展器连接磁盘，构成纵向扩展的架构。

        单阵列的存储规模比较小。为了构建大规模存储系统，在阵列的基础上采用存储区域网络文件系统(Storage Area Network File System，SAN File System)构建集群存储系统是常用的技术手段，如图所示。

        这种系统通常提供标准可移植操作系统接口(Portable Operating System Interface，POSIX)语义的网络直连存储(NetworkAttached Storage，NAS)服务，广泛应用在非线性编辑等领域。存储区域网络文件系统的架构特点和现在的分布式存储系统相似，采用数据与元数据分离的设计方式，元数据通过专门的服务器--元数据服务器(Meta Data Server，MDS)提供服务。在计算端安装客户端软件，在访问用户数据时，首先访问元数据服务器并获取数据存放的位置，然后直接访问后端的阵列获取数据。在元数据服务器上可以实现名字空间(Name Space)的管理，从而构建全局统一的集群文件系统。为了保证可靠性，元数据服务器可以采用多机冗余的方式，确保在单点故障情况下的业务可用性。

十三、软件主导存储系统结构

1.中心化分布式存储架构

        中心化分布式存储架构和传统的集群存储系统非常类似。如图所示，整个系统由三大部分组成:数据存储节点(Chunk Server)、元数据服务节点(Master）和客户端(Client)。数据存储节点负责存储介质的管理，对外提供单机数据存储的服务;元数据服务节点负责分布式系统的管理和元数据服务;客户端提供分布式存的接入与访问。在这种架构中，元数据服务节点提供了中心化的服务，为了解决中心化节点的服务可用性和可靠性问题，需通过 Paxos 协议构建中心化服务组。

2.去中心化分布式存储架构

        去中心化分布式存储架构和中心化分布式存储架构不同，不再依赖中心化的元数据服务节点，元数据通过一致性哈希(Hash)函数等数学规则实现数据分布。如图 1-16所示，采用去中心化架构构建了大规模分布式存储系统。中心化和去中心化的架构在数据中心都得到了大量应用，但是中心化分布式存储架构应用更加普遍，可控性更好。中心化分布式存储架构中存在的元数据服务性能瓶颈问题，可以通过分布式元数据服务的方式，扩展元数据服务的能力来解决。

十四、面向云端的软硬件协同存储系统架构

        软件定义存储技术在云存储场景得到了大规模应用，通过软件的方式对硬件进行容错，从而实现系统的可靠性。新硬件技术及云存储技术的发展，要求系统在相同确件成本的基础上发挥更大的效能。例如，存储盘给软件系统提供块设备(Block)接口在块设备的基础上实现存储系统。NAND Flash半导体存储介质在存储领域得到了规模化应用，为了兼容原来的系统，需要在 NAND Flash 的基础之上实现存储虚拟化层通过该存储虚拟化层将 NAND Flash 封装成块设备接口。存储系统软件栈本身就是层存储虚拟化层，因此从全链路视角来看，可以发现有很多存储虚拟化层，而这些在储虚拟化层相互独立，会引入额外的开销，让整体系统的性能无法达到最佳。

        为了解决该类问题，需要打破原有的接口模式，从端至端的角度重新定义分层结构，以及软件与硬件之间的协同与接口方式。例如，基于NAND Flash 的固态硬盘可以放弃原来的 Block接口，直接采用类似对象的Zone接口，将NAND Flash 的追加写(Append Write)的特性暴露给存储软件层，在固态硬盘内部不再做复杂的映射转换层，数据在 NAND Flash上的放置直接在存储软件层实现。如图1-17所示，采用面向云的软硬件协同存储系统架构设计方式，演进分布式存储软件和硬件，从而最大化地发挥软硬件的性能，在保持硬件成本不变的情况下，提升全栈存储效能。