TransforLearn: Interactive Visual Tutorial for the Transformer Model（TransforLearn:Transformer模型的可视）

TransforLearn:Transformer模型的可视化教程

文章概要

背景简介

深度学习模型现在在各个行业都很常见，并被应用于越来越复杂的问题。Transformer是一种深度学习模型，已成为研究热点之一，并成为许多任务的首选方法。 

由于其广泛的适用性，人们对学习深度学习产生了极大的兴趣。然而，这些深度学习模型通常涉及复杂的结构和深奥的数学公式，这给初学者带来了障碍。近年来，对于经验丰富的模型构建者来说，可视化和交互式方法在解释复杂模型的工作机制和概念方面已被证明是有效的。

       然而，大多数现有的Transformer教程方法依赖于图像和文本进行顺序叙述，而不是自由探索。

      对于初学者来说，理解模块的复杂操作和数据维度的转换尤其具有挑战性。

       因此，迫切需要为Transformer量身定制一款全面，互动和视觉上引人入胜的教程工具，以弥合这一教育差距。

文章贡献

TransforLearn

作为Transformer教程的第一个交互式视觉解释系统。结合了数据流转换和数学公式的交互式显示，将模型的顶层架构与下游数值特征无缝集成。

评估TransforLearn的有效性

TransforLearn为用户提供了身临其境的学习体验。使用该系统后，用户在完成与transformer相关的任务时普遍表现出更好的性能。

新颖的互动式探索方法

支持由结构指导的架构驱动的探索，以及基于下游任务迭代的任务驱动的探索。

相关工作

理解深度学习模型的可视化

理解深度学习模型的最直接目的是了解模型如何做出决策以及它们学习了什么。交互式可视化系统在模型解释中的另一个关键用途是模型改进和调试。

Transformers视觉解读

最近开发了几个可视化教程。Jay Alammar的博客分析了BERT模型是如何工作的。结合Transformer原理和对实现代码的解释，哈佛NLP提供了一个在线教程。模型的视频介绍，如YouTube上观看量很高的Transformer Neural Networks，正变得越来越流行。

深度学习模型的可视化教程工具

深度学习的流行肯定吸引了许多非专业人士的注意。可视化教程工具是培养非专家对深度学习模型超参数变化和结构调整的直觉的主要途径。

深度学习模型的可视化教程工具

早期的可视化教程工具大多是基于文本的，通过视觉辅助关键概念的解释。为了将不熟悉的层操作与复杂的模型结构联系起来，在后来的工作中出现了交互式可视化工具。

需求分析

图解：红色表示模型结构，蓝色表示数据流，绿色表示具体任务的难点，黄色表示用户需求

提供实践经验以增强学生的理解

开发交互式资源，允许探索整个Transformer架构及其单个组件

澄清数据转换并使复杂的数学运算对初学者更有吸引力。

具有多层操作的复杂模型结构

传统的教学方法，如PowerPoint，强调理论知识，在解释复杂的模型结构和多层操作时，会过度简化和忽略上下文细节。

数据流和转换

学生不愿意学习数学公式，对数据流中的长序列表示掌握有限。

掌握模型结构与其在下游任务中的实际应用之间的差距。

大多数初学者在尝试将所学概念应用于自己的项目时感到困惑。

指导和反馈的必要性

学生通常使用传统的Transformer教程，如博客和视频。然而，它们压倒性的信息密度和缺乏交互性，对有效学习构成挑战。

TransforLearn

输入视图(A)为要翻译的文本提供了一个接口。翻译视图(B)显示模型的翻译结果和当前的翻译进度，帮助用户进行任务驱动的探索。

体系结构视图(C)提供了可视化模型结构和数据流的概述，其子视图(C1-C4)支持对计算过程的深入研究。

显示注意机制视图(D)、层规范化视图(E)和前馈网络视图(F)。这些视图不仅显示数据流和操作细节，还支持多种交互。

工作流程：

为了更好地帮助初学者克服将模型输入和输出与任务需求对齐的障碍，我们提出了两种探索模式:架构驱动的探索和任务驱动的探索。

架构驱动的探索：

 输入:更改输入文本。输入视图显示模型的输入文本。用户可以在指定的输入框中输入需要翻译的英文文本，按回车键提交给系统后端

Tokenize:将文本划分为多个标记。Tokenize视图（图1C1）显示了将文本转换为词元素序列的过程，包括分词和标记。该视图采用水平树形图结构直观地描述文本分词的过程，每个分词分别对应一个标记。

Embedding:生成词嵌入。在标记化之后，单词标记被索引到图1C2中的单词嵌入。TransforLearn支持向下钻取，通过点击热矩阵来探索索引与位置编码计算过程的对应关系。

编码器和解码器 

在文本被转换成最终的嵌入矩阵后，它进入由六个编码器或解码器块组成的体系结构。六个块呈现在一个自上而下的流程图中。每个编码器或解码器块共享一个相同的内部结构。

集成位置编码嵌入。 

位置编码的深入视图显示了数据流:词嵌入，位置编码过程和最终嵌入。我们从整体矩阵和局部细胞的角度来展示这个过程。当用户将鼠标悬停在元素值上时，系统会将注意力引导到单元格的操作上，如图所示。

输出:生成输出概率 

预处理结果。通过点击图1C4中的“Linear & Softmax”模块，用户可以访问当前解码器时间步长的计算。

这个视图包括一个线性投影、一个softmax函数和预测输出。用户可以点击softmax按钮查看当前令牌的计算公式和结果概率。

设计方案

我们将深入研究系统内一维向量和二维矩阵的可视化，同时还将探索与使用彩色像素块以及其他设计方案相关的优点和缺点。作为一个视觉教程，系统设计应该还原其底层特征最大程度地建模，便于初学者理解

任务驱动的探索

 在本节中，我们将介绍任务驱动探索中的系统交互过程。

在翻译任务中，该模型对输入的英文文本进行处理，输出相应的中文文本。解码器端对输出结果的处理过程是非并行的，逐个生成单个单词，以保证正确的翻译顺序。

本节的交互设计充分考虑了解码器端非并行性的重要性。我们将“翻译进度”解释为“解码时间步长”，通过修改解码时间步长可以实现非并行化处理。

具体来说，当我们输入”Why are you so happy?“这句话时，变形金刚会给出“你为什么这么高兴?”的答案。用户可以将解码时间步长从“为什么”更改为”如此“。

 

数据流变化主要涉及输入输出、数据维度和数据范围。当用户增加或减少当前解码时间步长，系统将增加或删除输入字和相应的输出结果。

分析结构特征。从图可以看出，本次迭代的预测词作为输入进入下一个时间步长。图1B中的预测和累积可能性显示了当前的翻译进度和预测可能性。同时，当用户探索下游任务时，我们发现解码器端的迭代输入、多个块操作和不同的注意头可能会给初学者带来概念上的困惑。因此，控制当前的解码时间步长可以帮助用户专注于他们感兴趣的特定模块。

两种模式交互

架构驱动的探索模式和任务驱动的探索模式的结合作为从抽象理解到实际实现的途径。我们鼓励用户在这两种模式之间自由切换。如果初学者发现抽象的视觉隐喻令人困惑，TransforLearn会提示他们切换到任务驱动的探索模式，并从现实世界的数据开始。任务驱动的探索模式提供了从具体任务处理的角度对数据流转换和结构关系的洞察，从而激励初学者返回架构驱动的探索模式。

初学者自学指导场景

Rex是一名大四本科生，尽管他从博客和视频中掌握了模型结构的基础知识，但他仍然很难理解详细的结构，并将理论知识转化为实际任务。因此，他对TransforLearn产生了兴趣，希望从中得到指导。 

Rex首先遵循任务驱动的探索模式，输入“I have a idea”这句话。由此产生的序列向量和文本描述的可视化(图1C2)使他能够理解分词到长数据序列的转换。这促使他思考如何调整他的高维时间序列数据.

Rex使用Transformer的主要目的是从序列数据中提取特征。他先前知道注意机制对特征提取至关重要，但他仍然不确定模型在这个抽象概念下确切地学习了什么。

在架构驱动的探索模式下，他点击了最后一个编码器块中的多头自关注模块，可以直观地看到数据流转换和多头结构。但是，他对Q、K、V矩阵的概念和生成过程仍然有疑问。为了获得进一步的清晰度，Rex根据文本提示点击了一个特定的头部按钮。

这让雷克斯回到了架构驱动的探索模式，在那里他可以进一步探索注意力机制的作用。Rex接下来考虑使用解码器进行预测。虽然一开始他对后序信息的干扰感到困惑，但由于掩模操作中的下三角矩阵，他理解了后序信息的处理。

实验结果与分析

TransforLearn通常比博客更能提高用户对架构和任务的理解。

TransforLearn通过交互界面带来更多的活动、自主性和发散性思维。

更广泛的覆盖和增强的互动提高了学习效率。

高可用性和强有效性。

可以有效地泛化到其他Transformer变体、任务和模式。