基于物理和特定领域知识的无标签监督学习 下

本文为2017年第31届AAAI人工智能大会最佳论文，提出了利用输出满足的特定规律或先验知识训练网络，而非直接利用label，是非常棒的无标签学习新思路。原文较长且较复杂，将分为两部分介绍，上部分介绍基本原理及平抛实验，下部分介绍更复杂的行人跟踪和目标检测实验及本文前期相关工作。

推荐指数☆☆☆☆☆

三、实验

本文算法的目的是在不直接利用输出（标记）的情况下，训练网络f将输入映射到输出，标记仅仅应用于评估算法性能。

实验二：行人位置跟踪（Tracking the position of a walking man）

本实验旨在在无标签y的情况下检测视频中行人的水平位置，我们认为在短时间内行人的速度是恒定的，这样建立了一个结构化预测问题f，输入时图像序列x，输出是水平位置y。与自由落体实验类似，我们希望仅仅去掉重力加速度那一项后重新训练。然而，这么做并不可行，虽然提供的约束是必须的，但是并不充分以使其收敛（as the constraint provides a necessary, but not sufficient, condition for convergence）。

这里我们引入两个额外的损失。首先，我们奖励网络在整个序列中输出更大的标准偏差值，引入的第一个损失函数是

为避免上式带来的无线奖励问题，我们引入第二个损失，要求图像序列的输出处于固定范围内，如0到10。第二个损失函数及总的损失函数为

训练

数据集包括6个不同场景中的11条轨迹，总共507张56×56的图像，使用每条轨迹的前5帧训练，余下部分做测试评估。损失函数中两个惩罚项系数分别为0.6和0.8。迭代次数、网络结构等其它参数和实验一自由落体参数一样，在某种程度上印证了网络对这些参数的稳健性。实验结果如下图所示。

评估

本文算法预测结果与真值（ground truth）相关度高达95.4%，而直接利用label训练的监督网络预测相关度仅为80.5%（但在训练集上相关度为99.8%），这是由于数据量太少而产生了过拟合。

本实验证明了无标签情况下学习检测惯性物体的可行性。此外也显示了，当基础结构约束不足以指导学习时，可以施加额外的惩罚项来获得足够好的结果。

实验三：因果关系目标检测（Detecting objects with causal relationships）

本实验旨在探索从单张图像逻辑约束中学习的可行性，更具体的讲，探索从因果现象中学习的可行性。

我们提供包含最多四个卡通人物的随机集合的图像：Peach，Mario，Yoshi和Bowser，每个卡通人物由于旋转和反射而在帧间具有较小的外观变化，如下图所示。

虽然每帧中某个对象的是否存在是非确定性的，但是当Peach出现时Mario一定出现。我们的目的是建立一对儿神经网络f=（f1，f2）分别识别Peach和Mario，f1和f2的输出y1和y2取值只能是0或1。我们利用输出满足的逻辑关系y1=>y2训练网络，而不是直接利用标记。该问题难在网络必须在学习识别卡通人物的同时根据逻辑关系选择它们。

仅仅利用约束y1=>y2学习并不充分，例如，系统可能对每张图像均输出y1恒等于1和y2恒等于1，这样的答案并不能描述图像上卡通人物的出现情况。为避免上述情况，我们增加了三个损失项。

损失h1通过图像随机水平或垂直翻转使得网络聚焦于对象的存在性而非位置。损失h2和h3分别鼓励网络输出高标准差和较大的熵，以避免恒输出同一个值。此外，我们限定网络逻辑输出仅根据图像上的很小一块儿区域得到。Peach网络f1通过一系列的卷积层和池化成将原始输入图像降为7×7×64的网格，我们找到具有最大平均值的64维空间矢量，并使用其包含的信息来预测第一个逻辑输出。Mario网络f2进行同样的操作，但是如果f1在图像中找到了一个对象，则f2不在f1使用的位置选择任何向量。最终的损失函数为

我们使用与实验一和实验二相同结构的网络训练。

评估

实验输入图像大小为56×56，三个损失项系数分别为0.65、0.65和0.95,4000次迭代后网络收敛。测试集包括128张图像，网络学会了正确识别每幅图像是否有Peach或Mario。本实验证明了网络可以从复杂逻辑规则约束的离散集合中学习。

四、相关工作

本文介绍了在三个计算机视觉任务中使用领域知识的新策略，实验中的网络不使用标记学习，而是在高级指令约束下学习。

约束学习（Constraint learning）是监督学习更一般的形式。聚类和降维等无监督学习中也使用各种各样的约束。自然语言处理中已经有很多约束学习的成功应用，Ratner 2016年的工作中利用标记函数而非标记进行学习。在神经网络中使用约束学习也有很多案例，Lin和Zhuang 2016年在不使用标记情况下训练等你拿网络构建图像的高级压缩嵌入。Mnih 2015年提出的深度Q网络（DQN）使用约束而非标记训练神经网络。

英文题目：Label-Free Supervision of Neural Networks with Physics and Domain Knowledge

原文连接：http://www.aaai.org/Conferences/AAAI/2017/PreliminaryPapers/12-Stewart-14967.pdf