面向SWF日志事件流数据的可视分析系统

摘要

【目的】为解决高性能计算集群的日志数据交互可视分析的问题,提供一套支持多种不同集群系统日志数据的可视分析框架,本文设计并实现了面向SWF日志数据的事件流可视分析系统SWFVis。【方法】SWFVis基于时间事件序列数据可视分析技术,结合多维可视分析、关联可视分析等技术,提出了一套针对SWF日志中的时序属性、关联属性、多维属性进行综合可视分析的方法。【结果】针对公开的iPSC/860与ForHLR II集群产生的真实数据,SWFVis直观展示了日志中整体作业的并发状态、执行情况,并对集群中存在的作业处理模式进行分析。【局限】对于事件流可视化呈现效果,在三维场景中存在的视角遮挡、分布杂乱的现象,未来考虑通过层次聚类等方法实现进一步的优化。【结论】SWFVis提供了针对SWF日志数据的交互式可视分析方法,支持多种计算机集群使用。通过对作业间存在的时序性、关联性进行展示,以及对作业多维属性进行挖掘,可以直观呈现集群工作状态、用户提交行为,并交互式发掘集群作业中存在的处理模式,为集群调度优化提供支撑。

关键词： 高性能计算集群; 时间事件序列; 事件流; 可视分析; SWF日志

引言

事件日志是分析计算机系统在操作、调度等阶段可靠性行为的主要数据源之一。在高性能计算机中