第2卷 第6期
444 中国科技论文在线 SCIENCEPAPER ONLINE 2007 年 6 月
TNet :基于树型结构的集群工具软件通信协议
陈 晨,陈文光,郑纬民
( 清华大学计算机系, 北京 100084)
摘 要:传统的集群工具在结点间进行数据传输时通常使用单层型结构,数据广播和数据收集的速度慢,可扩
展性差,当集群规模较大时可能无法正常工作。树型结构是一种通用的通信模式,可以有效降低数据广播和收
集的开销。但现有的通信协议库缺乏对开发多种集群工具如调试器,性能工具以及管理工具等的共同支持。本
文介绍了一种基于树型结构的数据传输通用协议 TNet ,该协议提供了适用于开发多种集群工具的功能及接口,
如广播、收集、结点过滤、文件分组分发等,为开发多种集群工具提供了有力的支持。
关键词:可扩展性;协议;集群工具;广播;规约
中图分类号:TP393.04 文献标识码:A 文章编号:1673-7180(2007)06 -0444 -6
0 引言 提供了对一组结点进行远程命令执行以及对一组结
随着各种应用计算需求的增加,集群计算机的 点进行远程文件拷贝的功能。同时,针对文献[5]中
规模不断增大。在 2004 年 11 月份公布的top500 超 所使用的过滤器,TNet也进行了改进,提高了效率。
级计算机排行榜上[1] [2~4] 本文接下来的部分组织方式如下:第 1 节介绍
,前几位的超级计算机 所使
用的处理器数量分别达到了 32 768 ,10 160 和 5120。 树型结构原理;第 2 节介绍 TNet 协议;第 3 节介绍
面对如此之大的集群规模,许多传统的并行调试工 实验及结果;第 4 节进行总结。
具、性能工具、管理工具都暴露出了在可扩展性方 1 树型结构原理
面的不足之处。主要体现在随着集群工具所要面对 本节介绍单层型结构和树型结构的定义,以及
的结点数的增多,各种操作的响应时间都急剧增加, 它们在数据传输和数据收集方面的时间复杂度。
甚至由于超时而导致工具无法工作。 1.1 单层型结构介绍
可扩展性不足主要原因在于传统的集群工具通 单层型结构是目前大多数集群工具所采用的数
常使用单层型结构进行数据传输。其中主控结点需 据传输结构。图 1 所示的是典型的单层型结构,它
要负责大量的数据传输工作,容易成为集群工具运 由一个主控结点和多个从属结点组成,主控结点和
行的瓶颈,当集群结点规模很大时,主控结点由于 每个从属结点之间都建立了通信连接,从属结点相
负载太大而导致无法正常工作。 互之间没有建立通信连接。
为了解决单层型结构在数据传输方面的弊端, 主控结点程序一般运行于用户直接使用的那台
保证集群工具能够适用于大型的集群系统,可以采 计算机上,它的功能主要包括与用户进行交互,向
用树型结构来代替单层型结构进行数据传输。文献[5] 从属结点发送控制命令数据,收集从属结点发来的
提出了一种利用树型结构来进行数据传输的方法。 数据,以及将数据显示给用户。
但是它只是针对特定的调试工具开发的。文献[6][7] 从属结点程序一般运行于所需监控的各台计算
也提出了类似的树型结构,但是它主要是针对特定 机上,它的功能主要包括接收主控结点