动手做自己的云计算

 面对云计算，有的人越来越糊涂，经常听到有人用云里雾里来形容现在的云计算。云计算系统确实是一个庞大和综合的系统，即使是国际大公司也不敢贸然进军云计算领域，大量的企业不是将自己的传统技术优势称为云计算，就是雷声大雨点小的观望。一般开发者更是不适应在机群的环境下工作，所以本章将用一个简单的例子来展现云计算的基本特点和技术开发方式，我们并不保证这个系统是一个完善的系统，但它具备了云计算的一些基本特点如计算和存储的整合、计算向存储的迁移、文件的分布式存储、计算的并行化等，我们对这些功能采用了最简单的实现方法以使大多数读者能从中体会到云计算技术的核心理念，所以我们命名这个系统为云计算V0.01，运行环境为Windows。

8.1  系统总体分析

我们进行系统总体结构设计时主要着眼于云计算基本特征的实现，不考虑系统中很多细节性的要求和高级要求，并采用中等水平的读者能完成的难度设计。

设计需要实现的基本功能如下。

（1）向开发云应用的客户提供可以调用的API函数，利用API函数实现对云计算系统的访问。

（2）实现分布式的文件存储。

（3）实现计算向存储的迁移，使计算和存储在同一个节点完成，避免数据在网络中的传送。

（4）向用户隔离计算的并行性和存储的分布性，用户无需关心系统具体的操作过程。

（5）初步实现对数据求和及求最大值的处理，演示云计算的基本特点。读者可以通过增加处理函数实现更多的计算功能。

8.1.1  系统架构

云计算V0.01系统是一个完全模型化的实验用系统，开发和运行环境为Windows系统，通过对该系统的学习使读者对云计算技术的基本要点有一定的了解，云计算V0.01将云计算设备分为3个角色：管理节点、子节点和客户端。管理节点和子节点构成了云计算的服务器端，客户端通过对API的调用实现对云计算系统的访问，并通过API整合为不同的应用程序。为了简化系统的设计难度，我们在做云计算V0.01时限定所做的计算任务包括对大数据量数组求和、求最大值等操作，读者可通过实际的系统体会存储的分布化与计算的并行化的关系，并理解计算向存储迁移的作用。云计算V0.01没有实现存储的副本策略，因此暂时不能处理节点失效的问题，这也是为了降低系统难度的需要。以下的系统架构方法仅供参考和学习，并且不代表我们赞成这一架构，不同的读者可以设计不同的系统架构。

系统的整个架构如图8.1所示，这种架构方式是一个以客户端为核心的架构方法，系统中的所有操作指令均由客户端发出，管理节点不和任一子节点作数据和指令的通信，管理节点的作用主要是维护root.dat和node.dat两个系统文件。root.dat文件存储着现在系统中已注册的用户名及该用户所对应的文件分块描述文件所在节点的IP地址，系统利用这一文件可实现用户的注册、认证及用户登录后获得文件分块描述文件所在节点的IP地址。node.dat文件则维护着整个云计算系统所有子节点的IP地址、端口、最大空间、剩余空间等信息，客户端通过该文件能够获得整个机群的信息，从而实现向各子节点的直接连接。客户端从管理节点获得了相关的系统信息后将根据这一信息直接向各个子节点发起连接，完成文件存储及计算的功能，这大大提高了数据传输的速率，减轻了管理节点的负荷。各用户文件的具体分块和存储方式被系统用该用户的用户名（username）作为文件名的文件分块描述文件存储于其中的一个子节点，这一子节点的IP可在root.dat文件中找到。

图8.1  云计算V0.01的系统结构

在云计算V0.01系统中不同角色间存在两类数据的传送：一类是命令数据CMD，管理节点和子节点通过命令数据判断自己下一步所要完成的任务；一类是信息数据，这类数据是系统要完成相关任务所需要数据，如系统描述信息、文件信息等，这类数据的数据量相对较大。由于采用了计算向存储的迁移策略，系统中出现用户文件数据传输的情况很少，这大大提高了系统的运行效率。

8.1.2  文件分布式存储流程

系统在进行文件存储时先通过客户端连接管理节点，读取root.dat文件数据，检验是否有该用户存在，并获取用户数据块文件所在节点的IP地址。通过读取node.dat文件从管理节点读取子节点的IP地址的列表，根据以上信息完成对数据的分割，启动多线程函数同时连接各子节点将数据分别保存在各个节点上，最后更新username表以备访问时重新找到文件的分布情况。uesername文件将被存储于某一节点上，管理节点会根据现有username文件的分布情况向用户分配一个节点的IP地址存放username文件，文件名就是该用户的用户名，由于用户名在系统中是惟一的，所以每个用户的username也是惟一的，不会造成混乱，如图8.2所示。

图8.2  文件的分布式存储流程

8.1.3  计算与存储的整合流程

如图8.3所示，在云计算V0.01系统中，我们利用获得的用户名、文件名、数据块号以及数据分块信息文件的IP地址信息，可以惟一地确定任一数据块的位置和文件名，客户端同时向各个子节点发送启动计算的命令，各节点就地读取数据块本地文件，并对其进行计算，计算完成后发送回客户端汇总得到最后的结果。

图8.3  计算与存储的整合流程

这一计算过程不用移动任何数据，对于数据的处理就在存储数据块的节点完成，系统根据客户端的指令，将计算迁移到节点上分布式的完成，大大提高了计算效率，避免了数据在网络中的大量流动所造成的效率下降，对于海量数据来说，这一做法的效果是相当明显的。对于不同的数据，我们可以定义不同的数据处理方法，从而扩展系统的应用领域。