tictoc正方形网络模型_CNN解说:使用交互式可视化学习卷积神经网络

CNN解说:使用交互式可视化学习卷积神经网络

题目：

CNN Explainer: Learning Convolutional Neural Networks with Interactive Visualization

作者：

Zijie J. Wang, Robert Turko, Omar Shaikh, Haekyu Park, Nilaksh Das, Fred Hohman, Minsuk Kahng, Duen Horng Chau

来源：

Computer Vision and Pattern Recognition (cs.CV);

Machine Learning (cs.LG)

Submitted on 30 Apr 2020 (v1), last revised 1 May 2020 (this version, v2)

文档链接：

https://arxiv.org/pdf/2004.15004v2.pdf

代码链接：

https://github.com/poloclub/cnn-explainer

摘要

深度学习的巨大成功激励着许多实践者和学生学习这一令人兴奋的技术。然而，由于理解和应用深度学习的复杂性，初学者往往很难迈出第一步。我们介绍了CNN Explainer，这是一个为非专家设计的交互式可视化工具，用于学习和检查卷积神经网络(CNNs)，这是一种基础的深度学习模型体系结构。我们的工具解决了新手在学习CNNs时面临的主要挑战，我们从对教师的采访和对过去学生的调查中确定了这一点。用户可以在CNN中交互式地可视化和查看中间结果的数据转换和流程。CNN Explainer紧密地集成了一个模型概览，它总结了CNN的结构和随需应变的动态可视化解释视图，帮助用户理解CNNs的底层组件。通过跨越抽象级别的平滑转换，我们的工具使用户能够检查低级操作(例如，数学计算)和高级结果(例如，类预测)之间的相互作用。为了更好地理解我们的工具的好处，我们进行了一个定性的用户研究，研究表明CNN Explainer可以帮助用户更容易地理解CNNs的内部工作方式，并且使用起来很有趣。我们也从我们的研究中获得设计经验。CNN Explainer使用现代网络技术开发，在用户的浏览器中本地运行，不需要安装或专门的硬件，拓宽了公众接受现代深度学习技术的教育途径。

英文原文

Deep learning's great success motivates many practitioners and students to learn about this exciting technology. However, it is often challenging for beginners to take their first step due to the complexity of understanding and applying deep learning. We present CNN Explainer, an interactive visualization tool designed for non-experts to learn and examine convolutional neural networks (CNNs), a foundational deep learning model architecture. Our tool addresses key challenges that novices face while learning about CNNs, which we identify from interviews with instructors and a survey with past students. Users can interactively visualize and inspect the data transformation and flow of intermediate results in a CNN. CNN Explainer tightly integrates a model overview that summarizes a CNN's structure, and on-demand, dynamic visual explanation views that help users understand the underlying components of CNNs. Through smooth transitions across levels of abstraction, our tool enables users to inspect the interplay between low-level operations (e.g., mathematical computations) and high-level outcomes (e.g., class predictions). To better understand our tool's benefits, we conducted a qualitative user study, which shows that CNN Explainer can help users more easily understand the inner workings of CNNs, and is engaging and enjoyable to use. We also derive design lessons from our study. Developed using modern web technologies, CNN Explainer runs locally in users' web browsers without the need for installation or specialized hardware, broadening the public's education access to modern deep learning techniques.

CNN EXPLAINER介绍

本文的贡献如下:

1。CNN EXPLAINER，一种交互式的可视化工具，专门为非专家设计，以了解CNN的高级模型结构和低级的数学运算。为了帮助对深度学习感兴趣并希望学习CNN的初学者，我们的工具超越了以前的工作[16，25]，克服了从文献综述，教师访谈和对过往学生的调查中发现的独特设计挑战（第4节）。。

2.CNN EXPLAINER的新颖交互式可视化设计（图1）集成了连贯的概述和详细信息以及精心设计的动画，以同时汇总复杂的模型结构，同时为用户提供了检查详细数学运算的上下文。 CNN EXPLAINER的可视化技术通过不同抽象级别之间的流畅过渡而协同工作，帮助用户更全面地了解CNN中的复杂概念（第6节）。例如，CNN EXPLAINER以越来越详细的级别来解释卷积操作（图2）：概述（图2A）帮助学习者建立CNN模型结构的思维模型；弹性解释视图（图2B）通过动画化其内核滑动操作说明了卷积计算。交互式公式视图（图2C）允许用户交互式检查详细的数学计算。

图2

图2.在CNN EXPLAINER中，具有不同抽象级别的紧密集成的视图可以协同工作，以帮助用户更轻松地了解CNN的高层结构与底层数学运算之间的复杂相互作用。（A）概述总结了所有神经元的连接；（B）弹性视图将概述中用户选择的神经元的中间卷积计算动画化；（C）交互公式以交互方式演示Elastic View中所选输入的详细计算。

3.使用交互式可视化工具从用户研究中汲取设计课程，以进行机器学习教育。在向非专家解释机器学习概念时，视觉和交互方法已变得越来越流行，但评估此类工具的工作很少。[23，37]。我们采访了四位教CNN的讲师，并与19名先前已经了解CNN的学生进行了调查，以确定深度学习教育工具的需求和挑战（第4节）。此外，我们与16名学生进行了一项观察性研究，以评估CNN EXPLAINER的可用性，并调查了我们的工具如何帮助学生更好地了解CNN概念（第8节）。基于这些研究，我们讨论了用于机器学习的交互式视觉教育工具的优点和局限性。

4.一种基于Web的开源实现，无需高级计算资源即可使公众接受现代深度学习技术的教育机会扩大。部署深度学习模型通常需要大量的计算资源，例如具有强大硬件的服务器。此外，即使使用专用的后端服务器，支持大量并发用户也是一项挑战。取而代之的是，CNN EXPLAINER是使用现代Web技术开发的，所有结果都可以在用户Web浏览器中直接有效地计算（第6.7节）。因此，任何人都可以使用其Web浏览器访问CNN EXPLAINER，而无需安装或专门的后端。我们的代码是开源的，CNN EXPLAINER可通过以下公共演示链接获得：https：//http://poloclub.github.io/cnn-explainer。

可视化结果样例

图1所示。使用CNN EXPLAINER，学习者可以直观地检查卷积神经网络(CNN)如何将输入图像转换为分类预测(例如，预测咖啡杯的图像的浓缩咖啡)，并交互式地学习其底层的数学操作。

图1

在这个例子中，学习者使用CNN EXPLAINER来理解卷积层是如何通过三个紧密集成的视图工作的，每个视图都在不断增加的细节级别上解释卷积过程。(A)概述可视化了CNN的架构，其中每个神经元都被编码成一个正方形，用热图表示神经元的输出，每条边将神经元与其相应的输入和输出连接起来。(B)点击一个神经元，显示前一层神经元如何计算其激活，通过滑动内核的动画显示经常被忽视的中间计算。(C) Convolutional Interactive Formula View允许用户通过将3.3 kernel悬停在输入端，交互式地研究相应的输出，交互式地检查dot-product操作核心对卷积的底层数学。为了清晰，概览和注释文本的可见性得到了改善，覆盖层被重新定位。

图5

图5所示。CNN EXPLAINER通过三个紧密集成的视图帮助用户了解输出层和前一层之间的连接。用户可以在这些视图之间进行平滑转换，从而更全面地理解输出层的救生艇预测计算。(A)概述了神经元及其连接。(B) Flatten Elastic Explanation视图将经常被忽略的Flatten层可视化，帮助用户更容易地理解高维max_pool_2层是如何连接到一维输出层的。(C) Softmax交互公式视图进一步解释了在输出层之前的Softmax函数如何规范化倒数第二个计算结果(即通过将公式中的(C1)数字链接到模型结构中的(C2)它们的可视表示形式，将类概率转换为类概率。

图6所示。交互式公式视图解释了CNN的基本数学操作。

图6 A、B

(A)显示卷积神经元中出现的逐元素点积，(B)显示激活函数ReLU，

图6 C、D

(C)说明max pooling是如何工作的。用户可以将鼠标悬停在热图上，以显示操作的输入-输出映射。(D)交互式地解释softmax函数，帮助用户将公式中的数字与他们的视觉表示联系起来。用户可以点击info按钮滚动到教程文章的相应部分，点击play按钮启动(A)-(C)窗口滑动动画。

图7

图7所示。超参数小部件是随附的交互式文章的一个组件，它允许用户调整超参数，并实时观察内核在卷积层中的滑动模式如何变化。

讨论与展望

讲解训练过程和CNN架构的直观。CNN EXPLAINER帮助用户学习预训练的CNN模型如何将输入的图像数据转换为类预测。正如我们从两项初步研究和一项观察性研究中发现的，学生们也对学习CNNs的培训过程感兴趣，包括交叉验证和反向传播等技术方法。我们计划与教师和学生一起设计和开发新的可视化来解决这些扩展。推广到其他神经网络模型。我们的观察性研究表明，支持用户在不同抽象级别之间进行转换可以帮助他们更容易地理解低层操作和高层模型结构之间的相互作用。其他的神经网络模型，如长短时记忆网络[17]和变压器模型[48]，也要求学习者理解复杂网络结构背景下的复杂层操作。因此，我们的设计可以用来向初学者解释其他的神经网络模型。集成算法可视化最佳实践。现有的工作已经研究如何设计有效的可视化，以帮助学生学习算法。CNN EXPLAINER应用了AV可视化和可定制可视化(G4)的两个关键设计原则。然而，未来的研究者还可以将许多其他的AV设计实践集成到教育深度学习工具中，例如在可视化过程[35]中提供交互式流行小测验，并鼓励用户构建自己的可视化[46]。教育效果的定量评估。我们进行了一个定性的观察性研究来评估CNN解释器的实用性和可用性。我们希望通过前后知识测验进一步进行定量用户研究，以比较我们的工具和传统教育媒体(如教科书和讲座视频)的教育效益。研究向初学者解释深度学习概念的可视化系统的教育效果将是特别有价值的。

结论

随着深度学习越来越多地应用于我们的日常生活，帮助学习者迈出第一步，理解这一有前途但复杂的技术是很重要的。在这项工作中，我们提出了CNN EXPLAINER，一个为非专业人士设计的交互式可视化系统，可以更容易地了解CNNs。我们的工具在现代网络浏览器中运行，并且是开源的，这拓宽了公众教育获取现代人工智能技术的途径。我们讨论了从迭代设计过程和观察性用户研究中获得的设计经验。我们希望我们的工作将激励可视化工具的进一步研究和开发，帮助大众化的和降低理解和适当应用人工智能技术的障碍。