搜索巨擎Google凭借其云计算
技术
理念走在了大型
数据
中心架构配置的前沿。Sun公司的首席技术官Greg Papadopoulos曾经将云计算比作为一种名为"红移(Red Shift)"的天体光谱现象,而Sun公司也正是目前市场中唯一一家提供基于云计算理念的系统架构解决方案的厂商。
天文学家常常用多普勒效应 (Doppler effect)或者红移现象来定义宇宙的扩张。在天文学里,一个天体的光谱向红色波长移动则称为红移,红移天体意味著它正在快速远离地球。Greg Papadopoulos用红移来形容IT行业中出现的消费紊乱现象,红移现象在IT业远比其它行业中的多,消费者的需求正以指数级增长。
例如,Google和Amazon就是典型的红移公司,他们需要以前所未有的速度提高其IT性能、 存储 容量和网络功能性,Papadopoulos 称这是以指数级不断增长的。据估算,Google现在拥有的 服务 器数量已经超过了50万台,Amazon和微软在全球各地建立了很多大型数据中心满足自身对 服务器 、存储、网络以及每周七天全天24小时不间断工作的需求。
但是Google却不需要SAN,它没有配置全球NAS架构,取而代之的是上千个配置了廉价DAS的Linux服务器设备,并将信息内容存储到自己的Google File System(GFS)中。这样,存储智能化就有效地从阵列 控制器 转移到文件系统中了。
海量数据的爆发使这些红移公司不得不放弃目前已有的存储架构。Google、Amazon、雅虎和微软需要继续扩充其容量和存储访问性能,满足未来用户的潜在需求。传统的SAN和NAS存储架构已经不能满足多PB容量级数据和应用的需求了,这些高容量数据和应用需要捕获持续接收到的数据流、提供低于 5秒钟的读取响应时间、以及确保存储的安全性。
目前企业级SAN存储设备的每GB成本约为20美元。相比之下,这种云计算存储设备每GB的成本仅为1美元。如果以这样的成本水平你是买不来EMC 的Symmetrix或者Clariion阵列、IBM DS8000、DS4000和。NetApp阵列等这样的 产品 ,所以你只能购买廉价的磁盘,在廉价德服务器上使用廉价的或者开源的软件将这些磁盘组装在一起。
SAN、NAS的对立面
云计算是与传统的SAN和NAS的对立面。好消息是,目前只有为数不多的企业机构计划创建云计算架构来满足规模拓展的需求。而对于SAN和NAS存储厂商来说的一个坏消息就是,有太多的厂商已经开始将他们的用户迁移到使用SaaS服务的Google和Amazon云计算平台上。
例如:
-Google推出了主机office应用
-Amazon推出了SimpleDB、S3(Simple Storage Service)存储服务和Elastic Compute Cloud (EC2)服务
云计算是幻想还是现实?
Google、Amazon、雅虎和微软针对相互联系的多数据中心推出的面向网络服务反映了当前市场发展的必然趋势。出于竞争优势的目的,这些厂商推出的这种元数据中心架构的细节情况对外都是保密的。目前厂商已经将其作为网络提供服务提供给广大终端用户(例如YouTube、MySpace和 Facebook)和企业业务(Google EC2和Amazon SimpleDB)。
云计算并不依赖于特定的数据中心架构,但是可以将云计算看作是网格和效用计算理念发展过程中的必然产物。多PB级的云计算存储可以将每GB存储成本优势继续扩大,逐渐取代传统的基于控制器的阵列存储。
现在有一种普遍的看法就是 集群 NAS系统将会成为通用的云存储架构;Google特有的Google集群服务器和DAS架构可以满足Google的搜索需求。集群NAS系统更具有普遍应用性,需要为文件提供较大的全球命名空间,为组织排列成千上万万个文件、文件保护和文件访问提供合理的系统架构。
云存储已经逐渐从现有的SAN和NAS存储中独立出来,因为这种阵列架构所需的控制器更少,而且云存储要求一种不同的文件系统,这种文件系统在存储介质中必须具备可拓展型和数据保护功能。这也是云存储发展的必然趋势,因为没有控制器也就意味着没有RAID硬件。
目前市场上已经推出了这样的文件系统:一个是Google的GFS,另一个是Sun的ZFS。
那些需要PB级存储的企业用户可以使用云计算存储模块吗?显然Isilon已经向它的用户提供这方面的产品了,例如Isilon在媒体领域的用户正在使用集群NAS系统将上亿字节的视频文件传输给他们的用户。
其他领域--尤其是那些要求基于文件的大型在线数据存储的领域--比如医药业和那些使用超级计算的地球科学研究机构也正在开始应用云计算技术。
与超级计算机应用相比,云计算也具备并行处理能力,但是云计算的成本更低。
基于云技术的计算和存储设备同样也对小型企业用户具有很大的吸引力,因为他们不再需要通过管理操作自己的IT架构来完成那些工作。云计算技术为他们节省下大量的时间和成本,使他们可以更专注于业务的发展。
Google和Amazon表示,目前已经有上千家小型企业用户采用他们提供的基于云技术的面向业务服务。随着这些小型企业的成长,他们对IT服务的需求也越来越高,云计算厂商与传统IT厂商相比能够提供更多的技术服务,同时带动大中型企业用户也开始采用基于云技术的技术服务。
因此,云计算在不久的未来将有可能成为一项具有突破性的新技术。
众多厂商竞相角逐
目前还没有硬件厂商推出云存储产品,但是像Sun等厂商已经开始研发基于云技术理念的产品了。不少厂商也纷纷计划向企业用户提供基于云计算的硬件和软件产品,或是向企业或终端用户提供基于云计算的存储服务。
Amazon:
Amazon的创始人Jef Bezos似乎正极力将Amazon转型成为21世纪的新型IT公司。Amazon在2004年推出的IT架构使用了Linux服务器、配置了惠普MAS 存储阵列的Oracle Real Application Clusters应用集群。Amazon希望成为一家向用户提供基于Amazon万亿级计算业务架构的云计算服务提供商。
EMC:
EMC目前还没有推出集群NAS产品,Centera则是一款针对非结构性数据信息的在线归档产品。但是EMC已经宣布推出了Hulk和Main集群NAS硬件及软件产品,到明年一月EMC将可能公布使用了这些新产品的部分用户名字。
惠普:
惠普通过收购存储软件制造商PolyServe获得了PolyServe的一些技术特性,虽然惠普并没有对外公布其云计算技术的具体细节,但是惠普在博客上透露,Amazon已经成为其用户之一。
Google:
Google拥有自主研发的万亿级数据中心架构,是最早提供云计算服务器的厂商之一,这也使Google成为拥有目前全世界最大型的IT架构的厂商。
IBM:
IBM和Google携手与各地建设有小型云计算设施的高等院校合作,这样那些计算机专业的学生就可以更加深入地了解云计算的技术理念。IBM首席执行官Sam Palmisano表示:"在这个项目中,IBM在科学、商务、安全交易计算领域的实力和优势与Google在网络计算与大型集群领域的专业技术相互补充,最大程度上发挥了两家厂商的技术优势。我们计划对参加这个项目的人员进行培训,开发出可以满足全球网络扩张需求、确保每天上亿次安全交易的软件产品。 "
Isilon:
Isilon拥有不断完善的集群NAS产品线,近日还宣布推出了目前全球最大的NAS集群,该集群配置了约100个节点,理论上支持2.3PB的存储容量。已于近日成功融资上市的Isilon还表示,美国国家航空航天局是Isilon集群NAS产品的用户之一。
NetApp:
NetApp专门针对NAS和SAN产品的操作系统ONtap GX中提供了 集群技术 。但是由于NetApp将主要精力集中在带给他们较高利润的主流企业用户上,因此NetApp总是在集群NAS领域落后于 Isilon等厂商。如果未来云计算企业级市场有所发展的话,也许能够带动NetApp在该领域的积极性。
Sun:
Sun专注于提供带有丰富云计算特性的硬件和软件产品。Sun推出了ZFS文件系统、低端X4500存储服务器和开源Solaris 10软件栈。Sun首席技术官极力支持云计算技术,显然Sun已经意识到云技术技术将逐渐成为技术发展的主流趋势。
希捷:
希捷通过收购在线存储服务公司EVault弥补了自己在存储服务方面的不足,并计划向自己的数据中心用户提供在线备份服务。此外,希捷还收购了一家名为MetaLincS的电子发现厂商。为什么呢?希捷在磁盘驱动器产品方面的收益颇丰,为什么突然转变产品方向了呢?有可能希捷希望通过此次收购成为能够提供基于存储的在线服务的主要厂商之一,或者说成为一家云计算服务提供商。
天文学家常常用多普勒效应 (Doppler effect)或者红移现象来定义宇宙的扩张。在天文学里,一个天体的光谱向红色波长移动则称为红移,红移天体意味著它正在快速远离地球。Greg Papadopoulos用红移来形容IT行业中出现的消费紊乱现象,红移现象在IT业远比其它行业中的多,消费者的需求正以指数级增长。
例如,Google和Amazon就是典型的红移公司,他们需要以前所未有的速度提高其IT性能、 存储 容量和网络功能性,Papadopoulos 称这是以指数级不断增长的。据估算,Google现在拥有的 服务 器数量已经超过了50万台,Amazon和微软在全球各地建立了很多大型数据中心满足自身对 服务器 、存储、网络以及每周七天全天24小时不间断工作的需求。
但是Google却不需要SAN,它没有配置全球NAS架构,取而代之的是上千个配置了廉价DAS的Linux服务器设备,并将信息内容存储到自己的Google File System(GFS)中。这样,存储智能化就有效地从阵列 控制器 转移到文件系统中了。
海量数据的爆发使这些红移公司不得不放弃目前已有的存储架构。Google、Amazon、雅虎和微软需要继续扩充其容量和存储访问性能,满足未来用户的潜在需求。传统的SAN和NAS存储架构已经不能满足多PB容量级数据和应用的需求了,这些高容量数据和应用需要捕获持续接收到的数据流、提供低于 5秒钟的读取响应时间、以及确保存储的安全性。
目前企业级SAN存储设备的每GB成本约为20美元。相比之下,这种云计算存储设备每GB的成本仅为1美元。如果以这样的成本水平你是买不来EMC 的Symmetrix或者Clariion阵列、IBM DS8000、DS4000和。NetApp阵列等这样的 产品 ,所以你只能购买廉价的磁盘,在廉价德服务器上使用廉价的或者开源的软件将这些磁盘组装在一起。
SAN、NAS的对立面
云计算是与传统的SAN和NAS的对立面。好消息是,目前只有为数不多的企业机构计划创建云计算架构来满足规模拓展的需求。而对于SAN和NAS存储厂商来说的一个坏消息就是,有太多的厂商已经开始将他们的用户迁移到使用SaaS服务的Google和Amazon云计算平台上。
例如:
-Google推出了主机office应用
-Amazon推出了SimpleDB、S3(Simple Storage Service)存储服务和Elastic Compute Cloud (EC2)服务
云计算是幻想还是现实?
Google、Amazon、雅虎和微软针对相互联系的多数据中心推出的面向网络服务反映了当前市场发展的必然趋势。出于竞争优势的目的,这些厂商推出的这种元数据中心架构的细节情况对外都是保密的。目前厂商已经将其作为网络提供服务提供给广大终端用户(例如YouTube、MySpace和 Facebook)和企业业务(Google EC2和Amazon SimpleDB)。
云计算并不依赖于特定的数据中心架构,但是可以将云计算看作是网格和效用计算理念发展过程中的必然产物。多PB级的云计算存储可以将每GB存储成本优势继续扩大,逐渐取代传统的基于控制器的阵列存储。
现在有一种普遍的看法就是 集群 NAS系统将会成为通用的云存储架构;Google特有的Google集群服务器和DAS架构可以满足Google的搜索需求。集群NAS系统更具有普遍应用性,需要为文件提供较大的全球命名空间,为组织排列成千上万万个文件、文件保护和文件访问提供合理的系统架构。
云存储已经逐渐从现有的SAN和NAS存储中独立出来,因为这种阵列架构所需的控制器更少,而且云存储要求一种不同的文件系统,这种文件系统在存储介质中必须具备可拓展型和数据保护功能。这也是云存储发展的必然趋势,因为没有控制器也就意味着没有RAID硬件。
目前市场上已经推出了这样的文件系统:一个是Google的GFS,另一个是Sun的ZFS。
那些需要PB级存储的企业用户可以使用云计算存储模块吗?显然Isilon已经向它的用户提供这方面的产品了,例如Isilon在媒体领域的用户正在使用集群NAS系统将上亿字节的视频文件传输给他们的用户。
其他领域--尤其是那些要求基于文件的大型在线数据存储的领域--比如医药业和那些使用超级计算的地球科学研究机构也正在开始应用云计算技术。
与超级计算机应用相比,云计算也具备并行处理能力,但是云计算的成本更低。
基于云技术的计算和存储设备同样也对小型企业用户具有很大的吸引力,因为他们不再需要通过管理操作自己的IT架构来完成那些工作。云计算技术为他们节省下大量的时间和成本,使他们可以更专注于业务的发展。
Google和Amazon表示,目前已经有上千家小型企业用户采用他们提供的基于云技术的面向业务服务。随着这些小型企业的成长,他们对IT服务的需求也越来越高,云计算厂商与传统IT厂商相比能够提供更多的技术服务,同时带动大中型企业用户也开始采用基于云技术的技术服务。
因此,云计算在不久的未来将有可能成为一项具有突破性的新技术。
众多厂商竞相角逐
目前还没有硬件厂商推出云存储产品,但是像Sun等厂商已经开始研发基于云技术理念的产品了。不少厂商也纷纷计划向企业用户提供基于云计算的硬件和软件产品,或是向企业或终端用户提供基于云计算的存储服务。
Amazon:
Amazon的创始人Jef Bezos似乎正极力将Amazon转型成为21世纪的新型IT公司。Amazon在2004年推出的IT架构使用了Linux服务器、配置了惠普MAS 存储阵列的Oracle Real Application Clusters应用集群。Amazon希望成为一家向用户提供基于Amazon万亿级计算业务架构的云计算服务提供商。
EMC:
EMC目前还没有推出集群NAS产品,Centera则是一款针对非结构性数据信息的在线归档产品。但是EMC已经宣布推出了Hulk和Main集群NAS硬件及软件产品,到明年一月EMC将可能公布使用了这些新产品的部分用户名字。
惠普:
惠普通过收购存储软件制造商PolyServe获得了PolyServe的一些技术特性,虽然惠普并没有对外公布其云计算技术的具体细节,但是惠普在博客上透露,Amazon已经成为其用户之一。
Google:
Google拥有自主研发的万亿级数据中心架构,是最早提供云计算服务器的厂商之一,这也使Google成为拥有目前全世界最大型的IT架构的厂商。
IBM:
IBM和Google携手与各地建设有小型云计算设施的高等院校合作,这样那些计算机专业的学生就可以更加深入地了解云计算的技术理念。IBM首席执行官Sam Palmisano表示:"在这个项目中,IBM在科学、商务、安全交易计算领域的实力和优势与Google在网络计算与大型集群领域的专业技术相互补充,最大程度上发挥了两家厂商的技术优势。我们计划对参加这个项目的人员进行培训,开发出可以满足全球网络扩张需求、确保每天上亿次安全交易的软件产品。 "
Isilon:
Isilon拥有不断完善的集群NAS产品线,近日还宣布推出了目前全球最大的NAS集群,该集群配置了约100个节点,理论上支持2.3PB的存储容量。已于近日成功融资上市的Isilon还表示,美国国家航空航天局是Isilon集群NAS产品的用户之一。
NetApp:
NetApp专门针对NAS和SAN产品的操作系统ONtap GX中提供了 集群技术 。但是由于NetApp将主要精力集中在带给他们较高利润的主流企业用户上,因此NetApp总是在集群NAS领域落后于 Isilon等厂商。如果未来云计算企业级市场有所发展的话,也许能够带动NetApp在该领域的积极性。
Sun:
Sun专注于提供带有丰富云计算特性的硬件和软件产品。Sun推出了ZFS文件系统、低端X4500存储服务器和开源Solaris 10软件栈。Sun首席技术官极力支持云计算技术,显然Sun已经意识到云技术技术将逐渐成为技术发展的主流趋势。
希捷:
希捷通过收购在线存储服务公司EVault弥补了自己在存储服务方面的不足,并计划向自己的数据中心用户提供在线备份服务。此外,希捷还收购了一家名为MetaLincS的电子发现厂商。为什么呢?希捷在磁盘驱动器产品方面的收益颇丰,为什么突然转变产品方向了呢?有可能希捷希望通过此次收购成为能够提供基于存储的在线服务的主要厂商之一,或者说成为一家云计算服务提供商。