论文研读-机器学习可视化-面向可视解释的零样本分类主动学习

1 文章概要

1.1 摘要

问题：零样本分类是解决训练类和测试类不相交问题的一种很有前景的范例。实现这一点通常需要专家通过手动指定类属性矩阵来定义哪些类具有哪些属性，从而将其领域知识具体化。设计一个合适的类属性矩阵是后续过程的关键，但是这个设计过程是单调乏味的、没有指导的反复试验。
方法：为了解决上述问题，本文提出了一种可视化的、可解释的，叫做语义导航器的主动学习方法。这种方法通过在每个交互循环中的四个动作（询问、解释、推荐、响应）来促进人类和机器智能的合作。机器提出对比问题，以指导人类思考属性的过程。一种称为语义图的新颖可视化方法解释了机器的当前状态。因此，分析人员可以更好地理解为什么机器会对对象进行错误分类。此外，机器为每个属性推荐类的标签，以减轻标签负担。最后，人类可以通过交互修改标签来控制模型，机器会调整其建议。
验证：与无指导的方法相比，可视解释主动学习方法提高了人类交互构建零样本分类模型的效率。我们使用零样本分类的标准基准，通过用户研究来证明我们的结果。

1.2 引言

1.2.1 零样本分类

在分类问题中，每个类别被映射到属性空间中，即每个类别可用一个属性向量来表示（例如：熊猫—>（黑眼圈，爱吃竹子，猫科动物…））。零样本分类模型即学习一个函数F，该函数用于衡量每一幅图像和每个属性向量之间的匹配度。 当遇到训练样本中没有这个类别的样本时，可以使用该函数得到这个新类别的特征，从而识别出新的类别。例如，我们可以通过描述斑马看起来像有黑白条纹的马来教孩子们识别斑马。

实现零样本分类的一个关键过程是构建一个类属性矩阵（以行为类，以列为属性的矩阵）。我们可以通过描述类是否具有属性或其可能性来区分类。构建类属性矩阵是一项非常具有挑战性的工作。这一过程很难实现自动化的同时保留可解释性。仅使用以机器为中心的过程或仅使用以人为中心的过程来设计零样本分类的类属性矩阵可能很棘手。

当前的深层神经网络利用人类难以理解的神秘特征识别物体。相比之下，人类使用高级可解释属性来描述类，这不是机器区分对象的逻辑。机器和分析师之间的这种语义鸿沟严重阻碍了人与机器合作的有效性。

1.1.2 解决方案

解决这个问题的一个很有希望的方法是将分析员与指导属性设计过程的机器结合起来。但通过机器查询人类标注的标签来减轻样本标注的负担，也称为主动学习，无法寻找属性来区分类。研究表明，以混合主动的方式将可视交互式标注与主动学习相结合可以加速标记过程。同时，可解释性是促进人与机器合作的关键因素。

考虑到这些，我们提出了一种可视可解释的零样本分类主动学习方法，包括四个关键动作（询问、解释、推荐和响应）：机器提问以指导分析师提出新属性；可视化解释机器的当前状态；机器为每个类推荐属性标签；分析员为建议提供反馈并指导过程。

为了解决机器和分析师之间的这种语义鸿沟，我们将特性和属性两个空间连接成一个共享空间，以促进相互协调。

• 语义地图，可视化特性和属性的共享空间，是协作属性设计的主界面。这种可视化使分析人员能够解释零样本模型的错误分类，并激发他们提出新的属性。
• 语义导航器，混合主动可视分析系统，使用对比问题指导分析人员通过比较两个类示例来获取属性。这使得分析人员更关注类之间的差异，这比让人们直接提出新属性的方法更容易。
• 利用半监督支持向量机提供标签建议，并使分析师能够交互式地提供建议反馈。

1.2.3 文章贡献

• 我们提出了一种称为可视可解释主动学习的人与机器合作的方法，以获取人类知识，同时使分析师能够指导模型。
• 我们设计并实现了一个称为语义导航器的可视化分析系统，该系统引导分析师以交互方式构建零样本分类模型。
• 我们通过案例研究和用户研究来评估我们的技术。我们发现，与无指导的方法相比，语义导航器可以提高分析人员的效率和零样本模型的准确性。

1.3 组织结构

S2 相关工作
S3 用于零样本学习的人机合作
S4 语义导航器
S5 评估
S6 结论、讨论和未来工作

2 相关工作

• 设计视觉属性<