【论文阅读】-- MultiStream：探索分层时间序列的多分辨率流图方法

---

期刊: IEEE Transactions on Visualization and Computer Graphics（发表日期: 2018-12）
作者: Erick Cuenca; Arnaud Sallaberry; Florence Y. Wang; Pascal Poncelet

摘要

多重时间序列是一组在同一时间间隔内出现的多个定量变量。它们出现在医学、金融和制造业等许多领域，用于分析目的。近年来，流图可视化（由 ThemeRiver 演变而来）被广泛用于表示多个时间序列的时间演变模式。然而，在处理多个时间序列时，streamgraph 和 ThemeRiver 都存在可扩展性问题。为了解决这个问题，可以将多个时间序列组织成一个分层结构，在这个结构中，单个时间序列根据它们之间的接近程度被分层分组。在本文中，我们提出了一种基于流图的新方法来表达多个时间序列的层次结构，以方便探索和比较时间演变。基于 "焦点+上下文 "技术，我们的方法允许以不同粒度（如从概览到细节）探索时间序列。为了说明我们的方法，将介绍两个使用实例。
关键词：流图、堆积图、时间序列、聚合、多分辨率可视化、概述+细节、焦点+上下文、鱼眼

1 引言

时间序列是在连续时间点获取的定量值序列。有时，这些值随时间的演变包含对数据分析有用的模式。绘制它的常见方法是在二维笛卡尔坐标系上绘制，其中水平轴编码时间维度，而垂直轴编码定量维度。通常，折线图、散点图和面积图非常适合绘制单个时间序列（感兴趣的读者可以参考 Harries 等人[1]）。多个时间序列由一组以相同间隔发生的定量变量（时间序列集）定义。为了处理多个时间序列，定义了不同的视觉表示，例如堆叠图 [1]、ThemeRiver [2]、[3] 和流图 [4]。

多个时间序列中的层次结构可以表示为时间序列的有序集合，其中各个时间序列根据其邻近度进行层次分组。许多数据集可以按层次结构进行组织。例如，在音乐演变中，流派可以是多个子流派聚合的结果（例如，金属流派是黑金属、厄运金属、另类金属等的聚合）或不同子流派的分解（例如，爵士乐流派可以产生不同的子流派，例如经典爵士乐、灵魂爵士乐、当代爵士乐等）。当前的视觉表示（例如堆叠图 [1] 或流图 [4]）对单个时间序列进行建模，但当时间序列数量增加时，它们会遇到可扩展性问题。为了克服这个问题，可以将多个时间序列聚合成层次结构，以描述不同抽象级别的信息。

当时间序列数据增长时，就会出现技术挑战：如何交互并提取有价值的信息。为了帮助用户完成此任务，有许多众所周知的交互技术可以适用于基于堆叠图的可视化，例如：概述+细节[5]、焦点+上下文[5]、鱼眼[6]、缩放[7] ， ETC。

在本文中，我们提出了一种基于流图的新方法的设计来传达时间序列的层次结构。更准确地说，我们的方法结合了各种交互技术来扩展流图表示的优势，从而促进时间序列的探索和比较。因此，为最终用户提供了一个动态工具来探索时间序列分层结构中的不同抽象级别。图 1 说明了我们的方法。演示可在 http://advanse.lirmm.fr/multistream/ 获取。我们工作的主要贡献是：

• 一种新的基于流图的方法来传达多个时间序列的层次结构，以方便对时间演化模式的探索和比较。
• 多分辨率视图，用于描述不同抽象级别的时间序列的层次结构（即时间序列的聚合/分解）。

2相关工作

提出了几种可视化技术来显示多个时间序列及其随时间的演变。有兴趣的读者可以参考 Aigner 等人的论文。 [8]讨论了面向时间的数据的几种可视化技术。例如，Interactive Horizo​​n Graphs [9] 和 Qualizon Graphs [10] 使用分割空间技术，其中水平空间被划分，以便在缩小的区域中显示每个时间序列。在本文中，我们重点关注基于堆叠图的可视化和交互技术，以及视觉表示中包含的层次结构。

2.1 堆叠图和流图可视化

一种广泛采用的表示多个时间序列中时间变化的方法是使用堆叠图 [1]。它们具有直线基线（通常是水平轴），可以将时间序列堆叠在一起。每个时间序列都可视化为彩色层，1 和厚度表示给定时间步长的值。最后，层从左到右的方向表示随时间的演变，聚合层的厚度反映了各个时间序列的总和。例如，TIARA [11] 采用堆叠图表示来可视化主题内容。 NameVoyager [12] 除了交互技术之外还使用堆叠图来探索婴儿名字历史数据集中的趋势。

堆叠图表示支持多种基线算法。例如，ThemeRiver [2]、[3] 是在平行于时间轴的中心基线中计算的，其中各层以平滑的曲线过渡堆叠，模拟河流的流动。 OpinionFlow [13] 采用 ThemeRiver 来检测意见传播模式。 EvoRiver [14] 和 TextFlow [15] 将 ThemeRiver 与文档主题分析领域的交互技术合并。另一方面，streamgraphs [4] 是在与 ThemeRiver 类似的中心基线中计算的，但是，它使用摆动偏移，试图最小化与层厚度相关的坡度的加权变化。这种差异使得流图比 ThemeRiver 流更具可读性和自然性。流图用于某些领域，例如身体运动[16]或数据流可视化[17]。

与其他可视化一样，基于堆叠图的表示存在可扩展性问题。将多个时间序列堆叠在一起会增加视觉混乱，从而使层之间的比较和交互变得更加困难。为了解决这个问题，STAC[18]提出使用多个协调视图来分析单个时间序列及其聚合。一些方法通过以分层结构组织时间序列来克服可扩展性问题。

2.2 时间序列的层次结构

解决基于堆叠图的可视化中的可扩展性问题的另一种技术是以分层结构组织时间序列，其中各个时间序列根据其邻近性进行分组。因此，聚合水平应等于该组相应元素的总和（图 2）。时间序列的分组取决于其性质。时间序列的层次结构用于各个领域。例如，BinX [19] 通过随时间对货币兑换行为进行分组来分析货币兑换行为。在 BookVoyager [20] 中，堆叠图显示了按类别和子类别层次结构组织的图书销售历史。 ManyEyes [21] 提出了一个“类别堆栈图”来显示美国历史联邦预算到不同部门的分类，例如整体国防、原子武器等。在 TouchWave [22] 中，流图显示了按流派、艺术家和歌曲按层次结构组织的音乐收听历史。这些方法使用图层顺序和颜色来关联组中的各个时间序列。

最近，分层组织已被用于基于主题的领域。例如，NewsLab [23] 上的 LensRiver 探索了以层次结构组织的主题关键字之间的关系。 HierarchicalTopics [24] 开发了一个基于 ThemeRiver 的可视化来描述按类别组织的主题的时间模式。 RoseRiver [25] 扩展了 TextFlow [15] 方法来分析演化层次结构中主题之间的关系。为了导航和探索层次结构，提出了交互技术。

2.3 交互技术

交互技术用于增强可视化的有效性。有很多，例如：概述+细节[5]、焦点+上下文[26]、图形缩放[7]、语义缩放[27]、刷和链接[28]等。这些技术中的每一种都与数据交互以不同的方式。例如，图形缩放是一种详细显示特定区域的技术。然而，变焦的缺点之一是，聚焦时，概览会丢失，而缩小时，细节将不再可见。焦点+上下文方法允许用户在一个视图中同时查看详细信息和概述，从而克服了缩放问题。人们提出了扭曲技术来显示放大区域中的细节，以及逐渐缩小的区域中的上下文（例如，PerspectiveWall [29]、鱼眼[6]、弹性呈现空间[30]）。有时，这种扭曲会导致用户感到困惑。概述+详细信息技术通过显示两个单独的视图克服了这种混乱；一份用于概述，一份用于详细信息。因此，用户可以专注于细节，而不会失去整体上下文的感觉。

基于堆叠图的方法结合了交互技术来增强其界面并处理多个时间序列。表 1 显示了不同交互技术的比较。其中一些技术允许探索分层结构。例如，BookVoyager [20]、ManyEyes [21] 和 HierarchicalTopics [24] 集成了一个单独的视图（例如树形控件），以允许用户导航时间序列的层次结构。树形控件表示层次结构，以便过滤时间序列并将其显示在堆叠图中。 NewsLab [23] 使用基于结构的套管方法 [31] 来导航分层组织中的一组主题。 HierarchicalTopics [24] 使用树形控件来探索和合并分层结构中的主题。相比之下，TouchWave [22] 提出了一种可触摸的堆叠图来与层次结构交互并帮助用户完成任务（例如，层排序、层过滤和布局更改）。

如表 1 所示，缩放技术广泛用于探索基于堆叠图的方法中的细节。在分层结构中，缩放允许用户描绘抽象级别。然而，当使用这种技术时，仅显示层次结构的一层[20]、[21]、[22]、[24]。 TIARA [11] 使用鱼眼来显示所选主题的详细信息。在 TouchWave [22] 中，鱼眼视图用于聚焦时间段，但也用于显示两个区域的层次结构中的相同级别（即细节和上下文）。 NewsLab [23] 上的 LensRiver 允许通过使用一组交互来逐层更改细节级别。我们的工作旨在结合不同的交互技术（例如概述+细节、缩放和焦点+上下文）来增强对时间序列层次结构的分析并描绘不同的抽象层次。

3 需求分析

时间序列数据在医学[32]、金融[19]等许多领域都很常见。通过分析时间序列，可以提出有趣的问题，从数据中提取相关信息。例如，在营销公司中，跟踪社交媒体中嵌入的情感信息可以帮助监控人们对营销活动的反应。在这种情况下，情感信息（即情绪状态）的时间序列可以根据情感模型（例如，[33]中使用的罗素环模型）进行分类。由此，形成了情感信息的层次结构。在这个分类中，愉快激活组包括快乐、兴高采烈、兴奋和警觉的情绪。不愉快的失活组包括悲伤、沮丧、无聊和昏昏欲睡的情绪。一个基本问题是如何表示这种分层组织，以随着时间的推移增强对情感信息的感知。用户可能还对比较活动发起当月（例如，夏季销售期间）的情感信息演变感兴趣。最后，用户可能有兴趣在活动期间显示该情感信息的层次结构。

为了有效回答此类问题，我们确定以下要求：

[R1] 可视化整个时间序列的时间模式。此要求是指显示时间序列随时间的演变，以揭示模式、趋势、峰值等。在前面的示例中，用户可以在高抽象级别查看情感信息的分布。因此，用户能够检测时间序列在何处传达时间模式。

[R2] 选择感兴趣的时间段。该要求是指能够选择时间段以进行进一步分析。在前面的示例中，用户可以关注五月（夏季销售开始）来比较情感信息结构的分布（例如高兴、兴高采烈、兴奋、警觉等）。

[R3] 在不同的抽象级别处理选定的时间段。此要求是指以不同细节级别显示时间序列的层次结构。在前面的示例中，用户选择五月来以完整细节级别描述情感信息的分布（例如，快乐、兴高采烈、兴奋、警觉等）。为了维持认知图，之前和之后的时间段以高抽象水平显示（例如，令人愉快的激活和不愉快的失活水平）。

上面的要求列表试图满足时间序列数据集可视化分析中的常见和专门任务。由于这些数据集存在于许多领域，因此目标用户非常广泛。我们的目的是允许普通公众以及专业用户使用我们的方法。

4 视觉映射和功能

本节描述我们的可视化和交互技术。我们的探索过程遵循 Shneiderman 提出的视觉信息搜索原则：“首先概述，缩放和过滤，然后按需提供细节”[34]。

4.1 设计原理总结

基于需求分析，我们提出了一种新的可视化方法来促进分层时间序列的分析。它基于四个交互式组件：概述、多分辨率视图、控制器和层次结构管理器。概述（图 1a）以高度抽象的方式显示时间序列，以便于识别随时间变化的模式的发生和演变 [R1]。多分辨率视图（图 1b）以不同细节级别传达时间序列 [R3]。控制器（图1c）允许选择一个有趣的时间段（例如，当峰值发生时）并更新多分辨率视图[R2][R3]。最后，层次结构管理器（图 1d）允许在树形布局上探索和导航不同层次的层次结构 [R3]。下面详细描述这四个视觉元素。

4.2 概述

正如相关工作中所述，堆叠图表示非常适合描述时间序列并揭示随时间变化的模式 [R1]。我们采用流图方法，使用河流流量比喻来显示更具可读性的时间序列（图 3）。我们将多个时间序列表示为二维笛卡尔坐标系中的彩色层，其中时间维度沿水平轴以离散尺度编码，定量维度沿垂直轴编码。

图 3 显示了高抽象级别的整个多个时间序列的流图。最高级别代表层次结构的顶部，该级别的层厚度表示每个给定时间步长的组中时间序列的总和。概述传达了时间模式并区分了它们随时间的演变[R1]。为了探索和显示层次结构的不同级别[R3]，我们设计了一个多分辨率视图。

4.3 多分辨率视图

多分辨率视图基于焦点+上下文的方法来详细显示部分数据。该视图描述了不同粒度级别的时间序列 [R3]。我们的目标是在一个视图中显示层次结构的顶部（图 2a）和最低级别（图 2b）。为此，我们提出了一种由时间序列粒度变化的区域形成的视图。

图 4 显示了表示介绍性部分中介绍的音乐流派演变示例的多分辨率视图。在多分辨率视图中，我们定义了三种类型的区域：上下文区域、详细区域和过渡区域。上下文区域（图 4a）是时间序列以高抽象级别显示的时间间隔。在本例中，金属和爵士乐类别使用两种不同的色调绘制。详细区域（图4c）表示显示层次结构最低级别的时间间隔。在本例中，是金属和爵士乐类别的子流派（例如黑金属、厄运金属、经典爵士乐、当代爵士乐等）。在详细区域中，与组相关的时间序列采用相同类别系列色调但具有不同饱和度的颜色。最后，过渡区域（图 4b）表示专用于这两个抽象级别之间过渡的时间段。在此区域中，应用颜色插值来保留此过渡的上下文。

多分辨率视图中的时间间隔被扭曲，以描绘随时间变化的不同级别的细节（参见图 4 中的水平轴）。这种失真与焦点+上下文方法有关，其中细节显示在放大区域中，上下文显示在较小区域中。因此，详细区域（图4c）中的时间步长长度大于上下文区域（图4a）和过渡区域（图4b）中的时间步长长度。由于我们的可视化使用 2D 笛卡尔坐标系，过渡区域（图 4b）实现笛卡尔失真函数，为从上下文区域到详细区域的聚合/分解提供平滑效果，反之亦然（失真）功能在第 5 节中描述）

多分辨率视图中的垂直缩放（见图 4 中的垂直轴）描绘了层次结构，其中分类颜色用于离散层次结构中的时间序列。通过给每一层一个单独的色调，我们传达了它们之间的区别并减少了歧义。各种方法使用流图中的层顺序来增强可视化的有效性。例如，在 NameVoyager [12] 中，层的顺序是按字母顺序排列的，因为它们强调按名称进行可视化。在我们的方法中，层的顺序提供了一种表示时间序列分组的方法。在图 4 中，子流派的层根据其父类别绘制在一起。垂直轴不扭曲，以避免失去整体分布的上下文，这将使比较变得困难。

为了增强可视化的表现力，上下文信息始终是必要的。有时，与流图中的层数相关的易读性问题使得不可能为所有层设置名称。因此，我们的方法使用强力标签层算法 [4] 来找到绘制标签的最佳位置并避免重叠。标签的字体大小对所表示的数据量进行编码。因此，字体越大，该时间步的值就越大。详细区域中提供了层标签，可以一目了然地了解哪一层在该时间间隔内具有最高值（图 4c）。

多分辨率视图中的区域分布允许用户以层次结构显示不同的粒度级别。因此，用户可以在单个视图中观察层次结构的最高和最低级别。为了处理详细区域、上下文区域和过渡区域的时间间隔，我们设计了一个控制器，允许根据用户需求对其进行自定义。

4.4 控制器

由于多个时间序列数据集通常很大，过滤掉不相关的数据可以帮助用户专注于感兴趣的数据。基于刷链接技术[28]，我们设计了一个控制器，沿着水平轴（即时间维度）与概览进行交互，并根据用户需求关注感兴趣的数据[R2]。该可移动工具是在概览上设计的，用于处理多分辨率视图中的区域（即详细区域、上下文区域和过渡区域）所使用的时间间隔。

图5显示了控制器的设计。垂直交互线控制区域的位置和延伸。上下文区域由蓝线处理（图 5a）。过渡区域由红线处理（图 5b）。最后，灰线处理详细区域（图 5c）。控制器中的所有线路都可以定期以交互方式展开和折叠（约束条件在第 5 节中描述）。

当线条引导区域的位置时，我们管理它们之间的交互性。当将鼠标拖动到详细区域时，所有其他区域都会动态更新，并保持其长度。例如，图 6a 显示了向左拖动的详细区域，而其他区域在向左移动后更新到新位置。在图 6b 中，通过拖动右侧灰色垂直线将详细区域向右扩展。它沿同一方向更新相邻区域（过渡区域和上下文区域）的长度。当扩展或折叠过渡区域或上下文区域时，仅更新该区域的长度。图6c示出了向右扩展的过渡区域。请注意，所有其他区域保持静态。通过单击上下文线下方的挂锁图标可以锁定上下文区域的位置。图 6d 显示了两个锁定的上下文区域，并且详细区域被拖到右侧。请注意，当拖动详细区域时，过渡区域的长度会更新，但上下文区域的长度不会更新。通过控制器，用户可以查看不同抽象级别的时间段[R2][R3]。图 7 显示了控制器在多分辨率视图上选择的区域的投影。拖动控制器的任何区域都会更新多分辨率视图。该动画帮助用户保存视图的心理图（即概述和多分辨率视图）。

我们的方法允许更改布局基线。默认情况下的布局是具有中心基线的流图，但用户可以平滑地过渡到堆叠图布局以比较图层（图 17a）。

在流图中，通常很难在具有较大值的层中看到具有较小值的层。我们实现了一个垂直标尺来克服这个问题，并可视化在给定时间步长为给定时间序列编码的精确值（图 8）。当鼠标悬停在图层上时，饱和度会发生变化并出现垂直标尺，从而生成一个工具提示框，其中包含该时间步骤的时间和定量信息。单击此工具提示框将弹出一个面板，显示有关原始数据的更多详细信息。

4.5 层次管理器

多分辨率视图上显示层次结构的两个级别：上下文区域显示高级抽象，即来自层次结构高层的流，而焦点区域显示细节，即来自层次结构低层的流。等级制度。当层次结构的深度为2时，则显示两个级别。然而，大多数层次结构包含两个以上的级别。为了处理更深的层次结构，从而更好地适应 [R3]，我们提出了一个层次结构管理器。

图9示出了层次管理器中表示的音乐流派分类。在这个视图中，我们采用有根树布局，因为这种表示允许对时间序列进行分组并促进层次结构的探索。该树是水平方向的，其中左侧的第一个节点代表层次结构的根。每个叶子节点表示一个时间序列，非叶子节点表示时间序列的聚合。标签信息放置在叶节点的右侧，其他节点的左侧。层次管理器与多分辨率视图协调。因此，树中节点的顺序与多分辨率视图中的层的顺序相同。此外，节点由与多分辨率视图中的层相同的颜色编码填充（见图 1）。

层次结构管理器充当多分辨率视图中层次结构不同级别导航中的控制器。垂直虚线用于描述上下文区域和详细区域的当前级别。在图 9 中，蓝色垂直虚线穿过上下文区域（即高抽象级别）中描绘的节点。同样，绿色垂直虚线穿过详细区域（即低抽象级别）中显示的节点。按照此配置，垂直绿线将始终比层次结构中的垂直蓝线低至少一级。图9显示了具有多个级别的层次结构。为了提供层次结构组织的最佳初始视图，我们的方法首先显示上下文区域中层次结构的第一级节点，以及详细区域中层次结构的最低级别节点。

层次结构中的聚合和分解。对于详细分析，层次结构管理器旨在允许用户在层次结构中灵活导航（例如聚合/分解）。可以在具有子节点的节点中执行分解，并且可以在具有父节点的节点中实现聚合。工具提示的实现就是为了提供这两个功能。当用户将鼠标移动到被垂直虚线之一交叉的节点上时，会显示此工具提示。显示右箭头按钮以执行分解，显示左箭头按钮以执行聚合。例如，图10a显示了重音乐流派的分解。该类型由蓝色虚线交叉（即图层绘制在上下文区域中）。分解后，蓝色虚线现在穿过三个子元素：工业哥特式、金属式和朋克/波浪式。多分辨率视图的上下文区域也已更新以显示这三种类型。图 10b 显示了聚合交互。在这个例子中，诸如黑金属、死亡金属和重金属之类的流派被聚合到金属流派中。聚合后，绿色虚线穿过新聚合的类型。多分辨率视图的详细区域也已更新，显示金属流派。

突出显示节点。层次结构管理器提供了一些有用的交互来增强导航任务。用户可以通过将鼠标移到节点上来突出显示该节点。如果突出显示的节点与绿色虚线交叉（即，在详细区域中绘制图层），则只有该图层在多分辨率视图中突出显示，如图 11a 所示。如果突出显示的节点与蓝色虚线交叉（即，在上下文区域中绘制层），则所有与绿色虚线交叉的子节点也会突出显示，如图 11b 所示。这些动画旨在通过协调突出层次管理器和多分辨率视图中的层次关系来帮助用户完成导航任务。

过滤节点。为了帮助用户完成探索任务，层次结构管理器允许过滤时间序列。通过单击垂直虚线之一交叉的节点来执行此功能。图12a示出了在详细区域（即，由绿色虚线交叉）中描绘的电子流派节点的过滤器。节点过滤后，多分辨率视图中的图层将被更新。图 12b 显示了对上下文区域中表示的节点（即，由蓝色虚线交叉）的过滤。在这种情况下，由于该节点具有在详细区域中描绘的子节点（即，由绿色虚线交叉），因此所有子节点也会被过滤。所有这些交互都会顺利更新多分辨率视图。

总之，层次管理器以可视化树表示形式呈现层次结构，并将其与用户交互相结合以增强探索和导航任务。

5 多分辨率视图的技术要求

在本节中，我们将解释控制器在多分辨率视图上的投影，以及应用程序在此投影中必须处理的约束。我们还讨论颜色过渡。

5.1 时间步长

控制器和多分辨率视图基于概述+细节技术。控制器选择的区域将投影在多分辨率视图上，从而在它们之间创建认知链接。图 13 显示了此设计中涉及的变量，其中时间步长根据它们所代表的区域进行着色：蓝色表示上下文区域，红色表示过渡区域，灰色表示详细区域。

对于控制器（图 13 底部），时间步数定义为：ci 表示上下文区域，ti 表示过渡区域，d 表示详细区域；其中我 2f1; 2克。由于这些区域投影在多分辨率视图上，我们必须知道时间步的总数。我们将此总和写为 N，其中

下一步是管理控制器区域在多分辨率视图上的投影（图 13 顶部）。屏幕上可用的水平空间由 S 表示。该视图基于焦点+上下文技术。为了获得详细区域中的时间步长大于其他区域中的时间步长，我们使用投影因子（图13）。详细区域由 a 因子管理，过渡区域由 b 管理，上下文区域由 g 管理，其中 fa;乙； gg2N。对这些因素施加约束 a > b > g，以保留这些区域的时间步长之间的关系。如果没有这个限制，上下文区域中的时间步长可能大于详细区域中的时间步长，从而失去了焦点+上下文技术的意义。

为了计算多分辨率视图中每个区域的相对水平长度，我们将区域的时间步数除以时间步总数 (N)，然后乘以相应的投影因子。因此，RSCi 1⁄4 g ci N 是上下文区域的相对长度，RSTi 1⁄4 b ti N 是过渡区域的相对长度，RSD 1⁄4 a d N 是详细区域的相对长度；其中我 2f1; 2克。这些相对长度的总和用 RS 表示，其中

使用相对水平长度和可用水平空间（S）获得多分辨率视图中每个区域的水平长度。因此，上下文区域长度为 SCi 1⁄4 S RSCi RS ，过渡区域长度为 STi 1⁄4 S RSTi RS ，详细区域长度为 SD 1⁄4 S RSD RS 。

时间步的长度是通过使用这些水平区域长度获得的。图 14 显示了多分辨率视图区域的时间步长分布。每个时间步长由水平轴上的一个区域表示。但是，时间步长的长度取决于区域的长度以及在该区域中绘制的时间步数。因此，上下文区域（SCi）和详细区域（SD）具有统一的时间步长。上下文区域中的时间步长为 ICi 1⁄4 SCi ci，详细区域中的时间步长为 ID 1⁄4 SD d。过渡区域（STi）中的时间步长是扭曲的，因为它们代表两个不同粒度级别（例如，上下文区域到详细区域）之间的过渡。因此，它们并不统一，并且使用指数函数来描述这种行为。

令 T 1⁄4f1； …;tig 是过渡区域中的时间步长集合。该区域中每个时间步长 x 2 T 的长度由函数给出

其中，a 是表示函数的最小可能值的常数，b 是函数的基数。底数必须始终高于 1，以确保严格递增函数（即 fðx þ 1Þ >fðxÞ）。为了使失真时间步长连续且符合逻辑，该函数必须满足两个要求：
假设 1⁄4 ICi 且 b>1 来实现 [r1]，我们必须找到满足 [r2] 的基数 (b)，以实现所需的指数增长。
我们使用 ti 次的实多项式函数

其中 STi 是详细区域的长度。

在我们的可视化中，当在控制工具中拖动区域时（图 13 的底部），方程中的基数 (b) 被拖动。 (2) 对每个过渡区域进行计算。我们使用RPOLY算法[35]，然后应用以下规则来更新多分辨率视图：

这种交互使用户可以自主地扩展和折叠控制器，同时尊重 [r1] 和 [r2]。例如，图 15 显示了三个多分辨率视图。在第一幅图像中，过渡区域 (b) 遵循 [r1] 和 [r2]。结果，我们获得了所有区域的时间步长之间的关系都是正确的视图。然而，图 15 中间图像的过渡区域 (b) 不遵守 [r2]。因此，过渡区域 (b) 中的时间步长大于详细区域 © 中的时间步长。在此示例中，多分辨率视图不再显示详细区域的高分辨率。图 15 的第三张图显示了在我们的方法中使用过渡区域的重要性。请注意，详细区域 © 左侧缺少过渡区域如何导致上下文区域 (a) 和详细区域 © 的时间步长之间突然发生变化。这种缺失可能会妨碍用户对不同粒度级别之间变化的感知。另一方面，详细区域（c）的右侧显示了一个过渡区域（b），其中时间步长的长度从这两个区域减少，从而改善了用户对粒度级别之间变化的感知。

为了控制投影因子（即 a、b 和 g），在用户界面的底部实现了一个菜单。如果 a < b 或 b < g，此菜单会显示一条警报消息。

5.2 颜色

过渡区域表示两个抽象级别之间的时间间隔（例如，上下文区域到详细区域）。因此，为了在这两个级别之间平滑过渡，需要进行颜色插值。

图 16 显示了多分辨率视图。左侧过渡区域（参见图 16 左侧的 b）描绘了时间间隔不断增加的上下文区域 (a) 到详细区域 © 之间的过渡。然而，这两个区域之间突然的颜色变化使得跟踪过渡变得困难。为了克服这个问题，我们沿过渡区域使用颜色插值。右侧过渡区域（参见图 16 右侧的 b）显示了详细区域 © 到上下文区域 (a) 之间的颜色插值。区分不同粒度级别（即类别和子类别）之间的转换有助于用户。

在处理深层层次结构和多个时间序列时，颜色编码的选择是一个问题。为了解决这个可扩展性问题，我们的方法采用了 D3.js2 库中提供的一组 20 种分类颜色。高抽象级别的每一层都使用特定的色调（见图 16 中的 a），其中相邻层之间的色调必须不同以避免歧义。低抽象级别的子层（参见图 16 中的 c）保持其父层的色调，同时改变饱和度。

图16还示出了三个附加特征。第一个选项解决了当详细区域 © 中的层数增加时的可读性问题，因此很难区分颜色饱和度较低的层。为了克服这个问题，图层的轮廓被涂成黑色，从而加强父图层与其子图层之间的联系。通过单击“outlinelayers”复选框可以启用此功能。第二个选项允许在多分辨率视图中显示投影区域的边界。单击“边界区域”复选框即可激活它。此选项改善了概览、控制器和多分辨率视图之间的感知关系。通过单击“突出显示详细区域”复选框可启用第三个选项。此选项增强了区域之间的过渡，突出显示详细区域中图层的颜色，而不是上下文区域中的图层。

6 讨论

在本节中，我们讨论我们方法的灵活性，并将其与支持分层组织的替代技术进行比较。

6.1 灵活的方法

控制器在我们的方法中管理导航。用户可以完成各种交互技术，例如概览+细节或鱼眼。这些交互技术克服了流图的易读性和比较问题。例如，在图17b中，通过扩展详细区域（灰色）并折叠其他区域（即上下文和过渡区域）来执行简单的概述+细节。因此，概览上的选定区域将在多分辨率视图 [R2] 上进行完整细节投影。

控制器允许用户处理详细区域的长度，可以是时间间隔或整个数据集[R1]。图 17c 显示了鱼眼失真，其中上下文区域（蓝线）的位置被锁定在边缘。结果，上下文区域被压缩，详细区域（灰色）被放大；产生经典鱼眼效果。拖动控制器时，详细区域和过渡区域的位置会发生变化，而上下文区域的边界保持锁定[R2][R3]。

图17d示出了概览+细节和鱼眼之间的组合，其中上下文区域中的间隔比细节区域中的间隔更加延伸。使用控制器，用户可以自定义多分辨率视图 [R3] 中以最高和最低粒度级别显示的时间间隔。

6.2 与替代技术的比较

我们将我们的方法与支持分层组织的流图方法进行比较，如相关工作部分中所述。我们主要关注大型时间序列的可视化、分层结构的导航以及分层组织的描述级别的任务。

大型时间序列可视化。由于显示屏尺寸的限制，可视化大型数据集是一项挑战。以前的一些方法在处理大型时间序列时存在易读性问题。例如，HierarchicalTopics [24] 在不同视图面板中探索主题的层次结构，当子主题数量增加时会导致视觉混乱。在其他方法中，例如 BookVoyager [20]、ManyEyes [21] 和 NewsLab [23]，时间序列的长度固定为显示屏的大小（见图 18）。因此，在大型数据集中，很难比较时间序列或发现随时间变化的重复模式 [R1]。为了克服这个问题，TouchWave [22] 允许执行焦点+上下文技术（例如，鱼眼失真）来显示细节在一个大的区域中，以及在一个较小的区域中的上下文。但是，TouchWave 还将流图的末端固定在屏幕显示边界处。我们的工作比 TouchWave 和以前的技术提供了更多的灵活性，使用控制器，用户可以选择上下文区域的末端，还可以限制多分辨率视图中反映的聚焦区域[R2][R3]。这种行为可以轻松实现多种交互技术，例如缩放、焦点+上下文和鱼眼失真。当用户专注于精确的时间段，同时保持历史数据的灵活上下文时，此功能非常有用。

层次结构。为了浏览层次结构，以前的方法提出了各种解决方案。 NewsLab [23] 和 TouchWave [22] 使用交互技术，例如向下钻取和上卷操作，允许深入了解层次结构中选定叶子的详细信息。然而，通过这样的导航，很难比较流图上各层之间的关系，因为没有描述层次结构的当前级别。因此，用户可能在探索任务期间迷失方向。为了克服这个问题，BookVoyager [20]、ManyEyes [21] 和 HierarchicalTopics [24] 使用可视化树表示来导航到层次结构。我们的方法通过添加一组用户交互来将此树表示扩展到层次结构管理器[R3]。通过这种方式，我们的工作增强了 TouchWave 和 NewsLab 的缺点，即仅显示层次结构中当前分析的级别。此外，我们的层次结构管理器允许通过聚合/分解、突出显示和过滤器来修改显示时间序列的粒度[R2][R3]。这些交互旨在增强层次结构中的导航和探索任务。

描述的层次结构的级别。在以前的方法中，例如 TouchWave [22] 和 NewsLab [23]，用户只能同时可视化时间序列的一个抽象级别。我们的工作与这些方法不同，因为多分辨率视图允许同时可视化层次结构的两个不同级别：上下文（例如，层次结构的高级别）和焦点（例如，层次结构的低级别）[R3]。使用层次结构管理器和控制器，用户可以在一段时间内探索/导航层次结构，以进行深度分析[R1][R2][R3]。因此，它显示了父母和孩子如何以相同的观点随着时间的推移而演变。

7 例子

本节介绍了我们方法的两个应用示例。第一个展示了 2016 年美国总统选举日推文中表达的情绪演变。第二个展示了从 1960 年到 2016 年音乐流派的演变。

7.1 2016年美国总统选举日

我们的第一个示例基于 2016 年美国总统选举日（世界标准时间 2016 年 11 月 8 日至 9 日）收集的推文。该数据集包含从带有 #Hillary 或 #Trump 标签的 371,584 条推文中分析的情绪。情绪根据[33]中所述的罗素情感模型[36]进行分类。该模型形成了情感的层次结构。在这个组织中，愉快激活组由快乐、兴高采烈、兴奋和警觉的情绪组成。激活不愉快组包括紧张、紧张、压力和不安的情绪。不愉快的失活组包括悲伤、沮丧、无聊和昏昏欲睡的情绪，失活愉快组包括平静、放松、安详和满足的情绪。

图 19 显示了我们的方法，其中流图中的每一层都代表一种情绪。颜色编码用于区分 4 个主要情感类别。愉快的激活组用蓝色描绘，激活-不愉快的组用橙色描绘，不愉快的失活组用绿色描绘，并且失活-愉快的组用红色描绘。在图 19 中，概述（底部）显示了高抽象级别的情绪演变，显示了主要情绪。多分辨率视图（右侧）和层次结构管理器（左侧）相互链接，以描述不同细节级别（主要类别和分类类别）的情绪。在此示例中，层次结构包含 2 个级别，其中蓝色虚线交叉的节点显示在上下文区域中，绿色虚线交叉的节点显示在详细区域中。

图 19 中的概述显示了选举日结束时的一些有趣的峰值。多分辨率视图描绘了 23:00 至 06:00 的详细信息。我们观察到，直到 23:00，所有层的演化都是同质的。然后，第一批结果被广播，使得兴高采烈的情绪层增长（图19a）。从午夜到凌晨 02:00（大部分民意调查已结束）期间，兴高采烈的情绪依然高涨。请注意，在这个时期，兴高采烈的情绪的标签高度比其他时期更大。一眼就能看出这种情绪的主导地位。图 19b 中的峰值显示了佛罗里达州结果广播的时刻。 04:30 的另一个峰值显示了加州赛果公布的时刻（图 19c）。

多分辨率视图允许用户专注于某个区域，同时保持可定制的上下文。例如，虽然我们关注午夜到 05:00 之间的峰值，但我们可以看到整个数据集的最高峰位于 09:00，当时唐纳德·特朗普被宣布为选举获胜者。

7.2 音乐流派的演变

此示例基于从 MusicBrainz3 网站提取的音乐信息。该数据集包含 1960 年至 2016 年约 10,642 个乐队的元数据信息。我们使用这些信息来设计我们自己的流派分类法。该分类法可以按层次结构进行组织。因此，第一级由 6 个主要类别（例如，节奏音乐、摇滚音乐、流行音乐、民谣和乡村、牙买加和电子音乐）组成，最低级别由 32 个子类别（例如，布鲁斯、爵士乐、r ‘n’ b、灵魂、放克、工业金属、工业、黑金属、死亡金属、重金属、朋克、新浪潮、psychobilly、铁杆朋克、硬摇滚、迷幻、摇滚、独立摇滚、另类、流行、独立流行、乡村音乐、民谣、斯卡音乐、雷鬼音乐、配音音乐、嘻哈音乐、说唱音乐、浩室音乐、迷幻音乐、电子音乐和慢速音乐）。这种分类法旨在帮助观众以不同的粒度（即流派和子流派）浏览音乐历史。

图 20 说明了所提出的可视化。流图中的每一层代表一种流派，它们的水平长度描述了它们随着时间的推移的寿命。在底部，概述以高抽象级别显示了整个数据集。层次管理器（左侧）和多分辨率视图（右侧）相互协调，以不同细节级别描绘流派的层次。分类颜色编码用于传达主要流派的类别。因此，节奏音乐流派以绿色显示，摇滚音乐流派以橙色显示，流行音乐以紫色显示，民间和乡村流派以黄色显示，牙买加流派以蓝色显示，电子流派以红色显示。在此示例中，层次结构的深度根据每种音乐流派的细节级别而变化。流派层的厚度描述了每年创建的乐队数量。例如，在多分辨率视图上，垂直标尺显示 2000 年创建了 167 个新的摇滚音乐流派乐队。

图 20 中的概述描绘了 20 世纪 70 年代中期到 80 年代中期摇滚流派（橙色色调）的一个有趣的高峰。为了探索这一时期流派构成的细节，我们使用控制器来关注这一时期，并使用层次管理器来浏览层次结构的各个级别。因此，多分辨率视图显示控制器定义区域的投影。我们详细描述了 20 世纪 70 年代和 90 年代时期（即绿色垂直线交叉的流派）。为了不丢失这一时期的背景，我们考虑了之前和之后的时间段。我们观察到，摇滚乐类型的顶峰是由于 70 年代重音乐类型的顶峰而产生的。我们使用层次管理器来显示有关此类型的更多详细信息。图 21 探讨了摇滚音乐子流派。我们观察到，重音乐流派的顶峰是由于 70 年代朋克/浪潮流派的顶峰所致。然而，在 80 年代初，朋克/浪潮流派的受欢迎程度较低，使得重磅流派和摇滚流派同样不受欢迎。 1985年以后，黑金属、死亡金属、重金属、独立摇滚等其他子流派的兴起，使得摇滚音乐流派重新回到了70年代的流行水平。请注意，如图 21 所示，层次结构管理器显示每个流派和子流派的深度（即蓝色和绿色垂直线）。在这个例子中，围绕我们的重点领域有一个大的背景，以清楚地区分所有主要流派的趋势，这一点尤为重要。例如，我们详细观察特定时间段以及摇滚流派（橙色色调）随时间的增长。

图 20 中的概述表明摇滚（橙色色调）是最主要的流派。这会导致其他类型的分析出现问题。使用层次管理器，我们过滤掉了摇滚流派，它使我们能够改进流派之间的比较。图 22 显示了过滤后的流图。检测说唱音乐流派诞生的时间步很有趣（图 22a）。 1965 年至 1970 年节奏音乐流派（绿色色调）的顶峰体现了该流派的主导地位（图 22b）。然而，1975 年之后，电子流派（红色调）开始增长。图 22 中的多分辨率视图显示了 2000 年十年的完整细节。层次标签一目了然地传达了这一时期占主导地位的流派。由于标签的位置和高度，检测一段时间内的最高峰值很容易。例如，电子音乐在 2007 年达到顶峰，形成了 26 个乐队。

8 结论

在本文中，我们提出了一种新方法，用于可视化以分层结构组织的大型多个时间序列。它基于三个交互式视图：显示数据集主要趋势的概述、显示数据集子集详细信息的多分辨率视图以及允许探索层次结构的层次结构管理器。时间序列的层次结构在多分辨率视图上以不同的粒度显示。遵循施奈德曼的口号“首先概述，缩放和过滤，然后按需提供细节”，灵活的交互功能涵盖了广泛的可能性，从概述+细节到经典鱼眼。

我们方法的构思阶段的挑战之一是不同观点之间的相互作用。我们发现一系列互动可以让我们实现目标。因此，这些技术有助于选择时间段并在该时间段上的层次结构中导航。因此，多分辨率视图描绘了选定时间段内不同细节级别的层次结构。此外，所有交互都是集成的，可以在探索的任何点实现，而不会丢失上下文。

两个例子表明我们的方法可以应用于许多领域，例如社交数据、音乐行业数据。它的灵活性允许导航和探索层次结构，帮助用户随着时间的推移传达季节性峰值和模式。对于未来的工作，我们计划研究扩展可视化以处理实时可用的时间序列（即数据流）的可能性。

参考文献