A Survey on Visualizations for Musical DataR. Khulusi, 1 J. Kusnick, 1 C. Meinecke, 1 C. Gillmann, 1 J. Focht 2 and S. Jänicke 31 Image and Signal Processing Group, Institute for Computer Science, Leipzig University, Leipzig, Germany{khulusi, kusnick, cmeinecke, gillmann}@informatik.uni-leipzig.de2 Museum of Musical Instruments, Institute for Musicology, Leipzig University, Leipzig, Germanyjosef.focht@uni-leipzig.de3 Department of Mathematics and Computer Science, University of Southern Denmark, Odense, Denmarkstefan@vizcovery.org本文是本人关于此论文的翻译和学习笔记。
音乐数据可视化调查
摘要： 数字方法越来越多地应用于存储、构造和分析大量的音乐数据。在这方面，可视化发挥着至关重要的作用，因为它有助于音乐学家和非专家用户进行数据分析和获得新的知识。 这项调查的重点是音乐学和可视化之间的独特联系。 我们根据可视化数据类型对129个相关作品进行分类，并分析了哪些可视化技术被应用于某些研究查询和完成特定任务。 除了科学参考之外，我们还考虑到商业音乐软件和公共网站，它们提供了音乐学数据可视化的新概念。 在处理音乐学数据时，我们遇到了不确定性的不同方面，作为主要问题，并展示了如何处理和视觉传达发生的不一致。 根据我们在该领域的概述，我们确定了未来要解决的音乐学和可视化界面研究的开放挑战。
关键词：信息可视化，可视化
1. 导言
大概每个人都有个人音乐经验，这种音乐具有使人们团结的独特功能。 从音乐的角度来说，这种社会文化是音乐研究的主要动力之一[Lam12]。 梅里亚姆·韦伯斯特（Merriam-Webster）将音乐学定义为“音乐研究是与创作或演奏不同的知识或研究领域的一个分支” [MW18]。 这包含了与音乐有关的所有形式，例如，声音模式，乐谱，有关艺术家的传记信息，音乐流派及其依赖性。 类似于人文学科的其他子领域，近年来，数字方法在音乐学中对存储，构造和分析大量数字可用的音乐学数据变得越来越重要[Urb17]。 为了实现这些任务，可视化是这种情况下的关键要素，因为它可以更轻松地访问数据，并能够突出显示音乐的结构要素之间的关系[Lam12]。 由于要观察的数据是流形的，因此提供了用于分析数据的可视化设计，其形式多种多样。 我们的调查重点放在音乐学和可视化研究之间的独特界面上。 相关领域的最新报告已经进行。 大多数是特定领域的，例如Chan等人的调查。 [CQ07]回顾音乐的结构特征的可视化。 它专注于乐谱，而没有讨论与音乐学有关的其他实体。 凯西等。 [CVG * 08]专注于基于内容的信息的检索，并概述了现有项目和在此背景下的未来挑战。 虽然他们主要讨论分析，分类和检索方法，但可视化仅扮演次要角色。 但是，我们的调查也将涵盖与列出相关的应用程序。 我们领域中的相关调查涉及数字人文科学中的视觉文本分析方法[JFCS17]，重点是文本数据而不是音乐逻辑数据。 还发现了文化遗产收藏品[WFS * 18]，它明确排除了音乐收藏品和人物。 在这里，显然需要进行考虑音乐学可视化的调查。
在我们的调查中，我们根据基础数据（即乐器或音乐家等音乐实体）以及这些实体之间的关系以及音乐学家执行的典型任务（探索，呈现，比较等），揭示了应用的可视化技术。 具有给定的可视化效果。 一方面，它专注于数字人文学科的另一个子领域，是对相关调查论文的补充。 根据McNabb等人的可视化调查的三维层次分类[ML17]，我们将在现实世界和应用中提供一个新类别，从而扩展当前范围。 另一方面，我们的最新报告（STAR）旨在向可视化社区介绍针对音乐学中典型任务的公认的可视化场景。 此外，与我们社区的相关出版物相反，我们的STAR将包括在音乐学和与数字人文相关领域中发布的可视化技术。 此外，我们还将提供在线可用的视觉分析工具，主要是针对对音乐感兴趣的用户和处理音乐的商业软件开发的。
因此，我们的STAR为基于音乐数据的可视化的未来发展提供了有用的资源。 首先，我们将概述现有技术以及支持的典型用户任务。 其次，我们讨论由于人文数据的性质而产生的挑战。 这些挑战是：（1）由于音乐史悠久而出现的数据规模巨大；（2）由于数据分散而造成的不均一性；以及音乐学部分研究的不平衡状态；（3）由于未记录但必要而不够精确 有关历史实体的信息；（4）不完整是文化遗产数据的典型问题。
第三，我们列出了未来的挑战，总结了未解决的问题以及尚未得到充分解决的主题。
2. 范围
传达音乐信息的可视化手段可以在各个领域找到。 在调查相关作品时，我们的首要任务是反映这种多样性。 因此，我们决定采用创新的方法，但对于可视化社区，应考虑使用非典型的可视化设计方法。 结果是收集了分布在不同区域的129件作品，如表1所示。
因此，我们的调查位于视觉化与音乐学的交汇处。 尽管像美国小提琴学会那样很少在音乐学领域应用可视化（4），但包含的作品的最常见来源却属于音乐学数据的可视化，并在不同的视觉化（22）领域中发表。 此外，人机交互领域（18）提供了一个合适的平台，用于在界面中呈现视觉效果，以分析数字音频和计算机音乐。 这包括在全球会议上的出版物，例如计算系统中的人为因素会议（CHI），以及专门针对音乐学应用的会议，例如国际音乐表达新接口国际会议（NIME）。 在“数字人文科学”这个跨学科的社区中，融合了人类学和计算机科学背景的人们，音乐学仍然被认为是一种利基市场。 尽管如此，已经收集了八份相关作品，并将其纳入本次调查。 可视化在音乐信息检索（MIR）应用程序（18）中起着重要作用，以支持对检索到的数据集进行分析。 产生大量相关作品的主要期刊之一是《国际音乐信息检索学会学报》（ISMIR），该论文主要侧重于音乐的相似性。多媒体专家和从业人员将可视化应用于音乐的乐谱，演奏和情感的各种分析任务。值得注意的领域是ACM国际多媒体会议和IEEE多媒体交易。 计算机音乐研究以“数字音频”（Digital Audio）（13）为标记，以国际计算机音乐会议（ICMC）为代表领域，并使用交互式视觉探索工具进行声音分析来提供相关作品。 新杂项相关作品组（9）包括其他来源，我们考虑的四篇相关硕士和博士学位论文。 除了科学出版物，我们还考虑了在网站（15）或作为商业软件（8）提供的交互式可视化方法。
第一类列出了一系列可视化效果，邀请网站访问者浏览音乐数据并与之交互。 第二类特别包括游戏软件，该软件提供非典型的，无键盘的交互方式和视觉设计方法，以支持对音乐知识的有趣学习-两者都很有价值，因为它们为可视化研究提供了未来前景，并且可以使用搜索界面和“音乐”或“可视化”等典型关键字找到。
表1：被考虑的相关作品的出版领域。
| 出版领域 | 数量 |
| 可视化 | 22 |
| 人机交互 | 18 |
| 音乐信息检索 | 18 |
| 网站 | 15 |
| 多媒体 | 14 |
| 数字音频 | 13 |
| 数字人文科学 | 8 |
| 商业软件 | 8 |
| 音乐学 | 4 |
| 其他 | 9 |
| 总计 | 129 |
2.1. 考虑的研究论文
为了将大量相关作品限制在视觉化和音乐学的交集上，需要满足两个要求的参考资料才能被我们的调查考虑。
首先，可视化需要支持特定领域的任务或帮助调查有关音乐学相关数据的研究问题。 这包括单个音乐作品，整个音乐收藏，音乐家和乐器的可视化。 我们同样根据元数据和音乐内容来考虑可视化。 相反，我们从调查中排除了使用视觉效果生成音乐的作品[LL05，PIE * 11，MKSM16，Cho18，CW18]。 在跨学科环境中，“可视化”一词经常用于指代传统图表。 尽管可以从这些表示形式中提取出有意义的信息，但我们从调查中排除了此类作品，例如Cano等人的作品[CKGB02]提供了一个散点图来分析音乐作品或Plewa [PK15]的音频之间的相似性，将歌曲数量定位在常规网格上。
我们的第二个标准基于Card [CMS99]和伊利诺伊大学数字图书馆计划（UIUC DLI）词汇表[oI98]给出的信息可视化定义。 只考虑提供计算机支持的、非传统的抽象数据视觉表示的论文。 随着音乐学家也获得有价值的洞察力使用非交互式可视化，互动性不是必要的。 因此，我们还包括复杂的音乐学数据的静态视觉表示，如Heller的热图[Hel17]图，说明木材厚度的实例。 最后，各种作品，包括音乐的视觉表现，可以在其他会议的记录，如音乐符号和表示技术国际会议（TENOR）。 然而，这些工作往往主要集中在符号部分，因此我们在这次调查中没有考虑到它们。
3.方法论
大多数被调查的可视化工具都旨在将音乐数据的特征与某些用户群进行通信。 一方面，为具有音乐背景[MFH04，Hel17，KSKE17，KJKF19]的领域专家开发了工具，另一方面，为广大公众设计了易于理解的可视化工具[Har07a，Dan14，Spo18 ]-包括一类为听觉受损者穿戴广告的文件[YLL * 07，FF09]。 在所有情况下，应用程序域都指定要支持的任务，并因此指定可视化设计的复杂性。 因此，我们基于Munzner的可视化设计嵌套模型[Mun09]来构建相关作品，但重点是构建域之间环境和可视编码之间的桥梁的数据级别而非任务级别。 根据为可视化设计的数据类型，作品的分类包括四个主要数据类别：音乐作品，音乐收藏，音乐家和乐器。
我们决定将音乐作品的第一个类别分为乐谱和乐音这两个子类别，以更好地构造针对该数据类型的多种建议方法。 乐谱是重现音乐作品的构想蓝图，而声音是实际的解释，例如，录制的歌曲或每个形成的歌剧咏叹调。 这些人类的解释以与蓝图上的差异为特征，例如不是单调的和不变的节奏，或者是即时地即兴创作和替换着名的特征。 作为一种特殊情况，存在包含所谓的“参数”的便签纸示例，在蓝图上添加了便签，以非标准化形式描述了对符号的计划更改。 这种偏差导致特殊的可视化挑战和方法。 虽然第一个目录提供了关于音乐的详细视图，但已经设计了包括音乐作品在内的多种音乐收藏的远景。 根据实际的用户任务，可以比较音乐作品的特定功能，或者将其转换为易于浏览的形式。 最后两个类别与音乐学密切相关，音乐学不仅关注音乐过程的结果（音符和表演），而且关注音乐家（作曲家，表演者，乐器制造者等）—研究了相关的可视化技术 在音乐家中（第4.3节）或已使用的乐器（请参见第4.4节）。 由于与这些类别相关的功能的差异，用于观察数据并与数据进行交互的可视化手段也有所不同。为了更好地指导收集工作，我们根据可视化的一般用途将每个数据类别的相关工作进行了分组。 在第4节中讨论了根据数据类型进行分类。
除了根据数据特征等知识来构造相关作品之外，我们还浏览了该系列的论文并分析了支持哪些抽象[BM13]和特定于领域的可视化任务。 考虑到某些类别中的大量工作，我们将它们分为相关的子任务。 我们在数据分类中包含了有关每种数据类型的典型任务的信息。 该调查补充了有关可视化如何以及是否可以满足传达不确定关系的概述（请参见第5节）。 这包括由于音乐数据集的庞大，数据特征的不精确性，数据的完整性以及整个或超出所收集数据的不均匀性而引起的问题。 最后，我们在第6节中报道的可视化和音乐学的交叉部分提出了开放的挑战。
图1：概述每类数据的所有使用的可视化技术。
3.1领域相关术语
由于我们的调查将重点放在音乐学上，而音乐学是一个具有自己的术语的人文搜索领域，我们将在以下部分中简要解释一些会重复出现的术语。
音高（<
最低0.47元/天 解锁文章
217
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
