云计算知识点-03

云计算知识点-03

1. 简述云计算概念和特征。

   指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。

   云计算的特点

   云计算除不常见的超大规模、高可扩展性和按需服务的特点之外，还有自动化和节能环保等特点，总括起来，可以从10个方面来看。

   超大规模。

   大多数云计算中心都具有相当的规模，比如Google云计算中心巳经有几百万台服务器，而Amaon、lBM、微软·Yahoo等企业所掌控的云计算规模也毫不逊色，并且云计算中心能通过整合和管理这些数目庞大的计算机集群，来赋予用户前所未有的计算和存储能力。

   抽象化。

   云计算支持用户在任意位置使用各种终端获取应用服务，所请求的资源都来自"云"，而不是固定的有形实体。应用在"云"中某处运行，但实际上用户无需了解也不用担心应用运行的具体位置，这样能有效地简化应用的使用。

   高可靠性。

   云计算中心在钦硬件层面采用了诸如数据多副本容错、心跳检测和计算节点同构可互换等捎施来保障服务的高可靠性，还在设施层面上的能源、制冷和网络连接等方面采用了冗余设计，以迸一步确保服务的可靠性。

   通用性。

   云计算中心很少为特定的应用存在，但它有效支恃业界大多数的主流应用，并且一个"云"可以支撑多个不同类型的应用同时运行，并保证这些服务的运行质量。

   高奇扩展性。

   用户所使用的"云"资源可以根据其应用的需要进行调整相动态伸缩，并且再加上前面所提到的云计算中心本身的超大规模，"云"能够有效地满足应用和用户大规模增长的需要。

   按需服务。

   "云"是一个庞大的资源池，用户可以按需购买，就像自来水、电和煤气等公用事业那样根据用户的使用量计费，无需任何软硬件和设施等方面的前期投入。

   廉价。

   云计算中心本身规模巨大会带来经济性和提升资源利用率，并且"云。大都采用廉价和通用的x86节点来构建，因此用户可以充分享受云计算所带来的低成本优势，经常只要花费几百美元就能完成以前需要数万美元才能完成的任务。

   自动化。

   在云中，不论是应用、服务和资源的部署，还是软硬件的管理，主要通过自动化的方式执行和管理，也极大地降低了整个云计算中心的人力成本。

   节能环保。

   云计算技术能将许许多多分散在低利用率服务器上的工作负载整合到云中，来提升资源的使用效率，而且云由专业管理团队运维，所以其PUE（powerUsageEffectiveness，电源使用效率)值比普通企业的数据中心出色很多，比如Google数据中心的PUE值在1.2左右，即每l元钱的电力花在计算资源上，只需再花2角钱的电力在制冷等设备上，而常见的PUE在2和3之间。并且还能将云建设在水电厂等洁净资源旁边，这样既能进一步节省能源方面的开支，又能保护环境。

   完善的运维机制。

   在“云”的另一端，有全世界最专业的团队来帮用户管理信息，有全世界最先进的数据中心来帮用户保存数据。同时，严格的权限管理策略可以保证这些数据的安全。这样，用户无需花费重金就可以享受到最专业的服务。这些特点使得云计算能为用户提供更方便的体验，同时还能降低使用成本，正因为如此，云计算才能脱颖而出并且被业界推崇。

2. 简述Hadoop HDFS的功能定位与技术架构特点。

   HDFS（Hadoop distributed File System）：Hadoop分布式文件系统。是基于流数据模式访问和处理超大文件的需要而开发的，可以运行于廉价的服务器上。它所具有的高容错，高可靠性，高可扩展性，高获得性，高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集的应用带来了很多便利。

   简单来说就是把一个超大号文件按一定大小分割并放置在多台服务器上，这样多台服务器同时工作，效率超高，而且安全性也会提高。

   HDFS架构模型为：主从架构。NameNode是主节点。DataNode是从节点。

   HDFS主要由四个部分组成，分别为Client，nameNode、DataNode、以及Secondary NameNode组成。

   高可靠性：数据存储有多个备份，集群设置在不同的机器上，可以防止一个节点宕机造成集群损坏。当数据处理请求失败后，Hadoop会自动重新部署计算任务，对出现问题的部分进行修复或通过快照方式还原到之前的时间点。

   高扩展性：Hadoop在可用的计算机集群见分配数据并完成计算任务的，在集群中添加新的节点是很容易的，所以集群可以容易的进行节点的拓展完成集群的扩大。

   高效性：Hadoop可以在节点间动态的移动数据，数据可在节点间进行并发处理，并保证节点的动态平衡，因此处理速度非常快。

   高容错性：和前面的高可靠性差不多，文件系统HDFS存储文件时如果某台机器宕机了或者读取文档出错，系统调用其他节点上的备份文件保证程序顺利运行。如果启动的任务失败，Hadoop会重新运行该任务或启用其他任务完成这个任务未完成的部分。

   低成本：Hadoop基本框架用Java编写