数据网格技术是什么

原文地址:http://tolywang.itpub.net/post/48/286597

 

网格技术基本概念:
一家票务公司要销售滚石乐队的告别演出门票，IT部门经理担心，开始网上售票后，公司的服务器和软件会不会不堪重负?但实际上该公司并没有增加数十个服务器和存储系统，有关IT人员只是拧开开关，将公司的骨干网与一个“网格”相联。结果公司在3分钟内销售了90万张门票，没有一个顾客因系统处理能力不足而被拒之门外。


上述情景并非可望而不可及。网格作为一种能带来巨大处理、存储能力和其他IT资源的新型网络，可以应付临时之用。网格计算通过共享网络将不同地点的大量计算机相联，从而形成虚拟的超级计算机,将各处计算机的多余处理器能力合在一起，可为研究和其他数据集中应用提供巨大的处理能力。有了网格计算，那些没有能力购买价值数百万美元的超级计算机的机构，也能利用其巨大的计算能力。

计算的“乌托邦”？

Gartner公司的Rob Batchelder认为，网格的构想一直是计算领域的“乌托邦”，在科技应用上虽有巨大前景，但最大的缺陷是缺乏明显的商业应用。自20世纪90年代在欧美出现以来，网格主要被用于帮助分散的大学研究人员分析粒子加速器和巨型望远镜的数据。但在过去的两年中，网格的概念和GlobusToolkit已在研究和教育领域得到广泛应用，数十项全球性的大项目采用这些技术，以挑战科学计算中的海量计算问题。

目前网格技术虽主要为学术机构所控制，但企业也在陆续跟进。事实上，全球网格论坛（GlobalGridForum)的主要赞助企业就包括Unilever——一家以经销肥皂、冰淇淋著称的企业。与许多正在研究和评估网格技术的企业一样，Unilever自己对于如何利用此技术仍秘而不宣。而Johnson&Johnson与Merck等制药公司、BMW与波音等制造企业却已利用这一技术的处理能力和存储空间进行仿真试验，例如药品能否保护细胞免受病毒侵袭？飞机机翼是否会在暴风雨中折断？

基因研究是网格技术的自然应用，这一领域所需的投资很难由一家企业来承担，生物科技企业可用网格技术来分析基因数据;医生可以用网格技术制作出病人器官的三维模型，作为诊断疾病的辅助手段;网格可以处理来自商店现金记录或金融市场的数据流。其他行业，如航空、保险、运输和国防，也会从中受益。如此看来，网格计算并非是可望不可及的乌托邦，其商业应用的广阔前景就在眼前。

争夺控制权

网格计算被誉为继Internet和Web之后的“第三个信息技术浪潮”，有望提供下一代分布式应用和服务，对研究和信息系统发展有着深远的影响。主要IT厂商早就为获得网格计算的控制权展开了竞争。

Sun公司日前发布了“网格引擎”企业版5.3的测试版，使企业内部的计算机网格更容易联接，提供更好的管理和资源分配。网格引擎软件提供了开放源代码版本，自2000年发布到目前为止，共被下载了1.2万次，共有11.8万个CPU利用该软件进行管理。Sun公司技术产品营销经理PeterJeffcock认为，网格计算有明显的三个阶段:群集网格、校园网格和全球网格，目前发布的GridEngine企业版5.3使Sun向功能校园网格迈进了一步。Sun还与竞争对手一起支持AVAKI与Globus等行业组织，积极参与网格计算开放标准的建立。

Microsoft的研究部门也参与了各项分布式计算研究项目，包括容错远程文件系统Farsite，以及建设分布式系统的Millenium；HP也表示将提供Coolbase软件，使用户可以通过Internet共享各种计算设备;Compaq宣布正在制定一个全球性的网格计算解决方案计划，向寻求网格计算系统的客户提供软硬件和技术支持。为此，Compaq与加拿大PlatformComputing结盟，充分利用该技术，以及CompaqTru64UnixAlpha服务器系统和运行Linux的CompaqProLiant服务器，为用户提供完整的、集成的、开放的网格解决方案。Compaq还建立了网格计算高级研究中心，继续对该技术进行研究。日本的企业在网格计算方面也跃跃欲试。NTT宣布将于2002年中期开展为期6个月的网格计算试验，参与者包括了Intel、SGI等。

今年8月，IBM宣布在网格计算领域投资40亿美元，在全球建设40家数据中心，正式进入网格计算领域。IBM被英国政府选中，负责NationalGrid(国家网格)项目，这项预算达2500万美元的网格会把8所大学的计算机相连。IBM目前正与美国的宾夕法尼亚大学合作，将数家医院联接，构建一个复杂的计算网格。参与的医院可快速利用远方的医疗数据，并共享分析程序。日前，IBM还宣布了一项名为北卡罗莱纳生物信息科学网格的项目，涉及60家企业、大学和生物医学研究公司，这是全球第一个主要由私营行业参与的网格项目。而此时距IBM进入网格计算领域仅仅3个月。看来IBM是要立志做网格技术的“领头羊”。

那么，这一项目的实施是否标志网格计算已开始进入商业应用呢？

标准是成功关键

就像TCP/IP协议是Internet的核心一样，构建网格计算也需要对标准协议和服务进行定义。目前，包括Global Grid Forum、研究模型驱动体系结构（Model Driven Architecture）的对象管理组织(OMG)、致力于网络服务与语义WWW研究的W3C,以及Globus.org等标准化团体蠢蠢欲动。

今年7月，OMG、W3C、Grid Forum等标准化组织与来自学术、商业领域的人士出席了“软件服务网格研讨会”，加快全球大网格(GGG)标准的制定。接着，另一开放源代码网格标准组织——Globus也集会研究通过广域网联接的高性能计算的基础设施问题。Globus目前正致力于开发标准的网格架构和其他技术。

迄今为止，网格计算还没有正式的标准，但在核心技术上，相关机构与企业已达成一致：由美国Argonne国家实验室与南加州大学信息科学学院(ISI)合作开发的Globus Toolkit已成为网格计算事实上的标准，包括Entropia、IBM、Microsoft、Compaq、Cray、SGI、Sun、Veridian、Fujitsu、Hitachi、NEC在内的12家计算机和软件厂商已宣布将采用Globus Toolkit。作为一种开放架构和开放标准基础设施，Globus Toolkit提供了构建网格应用所需的很多基本服务，如安全、资源发现、资源管理、数据访问等。目前所有重大的网格项目都是基于Globus Tookit提供的协议与服务建设的。

除了标准以外，安全和可管理性、IT人才的缺乏也是网格计算亟待解决的一个问题，否则将无法成为企业的商业架构。在内部系统环境中常常视而不见的问题，如安全、认证和可靠性，在任何分布式环境下都必须得到解决。研究咨询公司StencilGroup的合伙人Brent Sleeper认为:“这要求具有高层次的架构技能，而不是简历上列出的编程语言。”如果把全球的网格都联在一起，那么就能借用彼此未用的资源，网格就会更强大和灵活。虽然这也是网格的最终目标，但把网格联在一起也会带来政治问题。IBM为大学建设网格或Unilever建设内部的网格都只是单纯的IT决策，而将私有网格联接，形成能力更大的共享网格，其中的风险却大得多。在客户需要时，相互竞争的网格提供商是否愿意出售彼此多余的资源？此外，网格应用常涉及大量的数据和计算，需要在各组织间共享安全资源，这不是当前的Internet和网络基础设施所能做到的。看来在网格计算实现商业应用之前，还有很多的问题需要解决。

然而，设想一下运用前所未闻的计算能力所能完成的工作，我们都会明白，构建全球网格的前景几乎是无法抗拒的。美国Argonne国家实验室的科学家Rick Stevens指出：“就像最初的Arpanet成为Internet的中心一样，就把Teragrid看做是形成全球网格中心的雏形吧！”

网格的商业应用

生物医学：网格可提供药品开发人员所需的计算能力，用以研究药物和蛋白质分子的形态与运动。

工程：波音、福特、bmw公司都在尝试用网格计算进行复杂的仿真与设计。

数据搜集/分析：制造、石油加工、货物运输、甚至零售企业都要维护昂贵的设备，时常会出现问题，造成不好的结果。同无线传感器一样，网格能够存储和处理所有交易。