用物理学和域知识训练“无标注样本的”神经网络（ Outstanding Paper Award 优秀论文奖）

2017的优秀论文奖：Label-Free Supervision of Neural Networks with Physics and Domain Knowledge。

这篇论文可以运用到自动驾驶中，因为自动驾驶的环境有太多无样本标注的情况出现，没有人能对所有突发路况都事先了如指掌。这就是本论文最大应用价值之一。

借助高级的先验，进行无样本标注的训练，至少有两点好处：

1. 省去了人工标注样本的人工成本。
2. 高级的先验，可以在许多神经网络中复用，用来预训练。大大提高复用性和泛函能力。

这里的高级先验，可以是牛顿第二定律，也可以是万有引力公式等等（这是所谓的物理域。当然也可以有化学反应的域，天体运动域等等专业领域）。

所以论文的思路很简单：仅仅用这些公式就可以对视频中物体运动做预测了（虽然预测不是那么准确，但是，至少比没有预训练好多了，也比用人力去辛苦标注好多了）。

来看看如何做预训练（文章中叫“约束训练”（Constraint learning））：

我们的目标是训练神经网络f ， 但是因为样本标签Y未知，我们用高级的先验 g 去约束Y的域值，比如，如果你在视频中抛一个物体，我们知道它应该符合牛顿第二定律，即，成抛物线的轨迹。所以在训练f 时，用先验g去约束f的训练，就能做到预训练。

所以，传统的有标注样本的训练是这样的：

而无标注样本的训练是这样的：

我们用高级先验g 约束神经网络f的训练，构造一个损失函数，同时给f一个正则项R，允许f 有一定的偏差和泛函能力。

有意思的是，这篇论文的大半篇幅用在了实验上（文章覆盖了3个典型实验），可见，评委会对文章的工业价值还是比较看重的。

第一个实验就是向上丢枕头的抛压运动实验了，它证明了仅仅加入物理公式的先验，就可以训练神经网络预测物体运动轨迹信息：

训练时，损失函数就是加入高级先验的损失函数：

其中:

正是用牛顿第二定律预判抛物线轨迹。

另一个实验，是预测视频中行人的行走轨迹：

使用一般的约束先验，就能达到很好的预测真实运动的效果，甚至比直接使用有标注样本训练有更好的泛化能力。作者认为如果使用全标注样本来训练，神经网络很容易过拟合。而使用无标注的样本训练，加入一个约束就会在整体上有效，如这个损失函数：

其中

表示限制在10mm范围内的运动。

最后一个实验，是预测图像出现的:

如果公主（金发）出现，那么马里奥也会出现， 但反之不然。橘黄和绿色的小怪兽随机出现。系统训练这种高级先验， 用来判断图片中有没有公主或者马里奥。第一列显示了样例图片。第二列和第三列分别显示对于公主和马里奥出现位置的预测。

此实验证明，一些约束的组合可以帮助更好地“无标注样本”地做出预测。

并且作者无标注样本的神经网络同样可以运用在离散的问题中（而不仅仅是视频）。

参考文献：

1. http://www.aaai.org/Conferences/AAAI/2017/aaai17program.pdf
2. Label-Free Supervision of Neural Networks with Physics and Domain Knowledge
3. http://baike.baidu.com/item/AAAI/13827607
4. 国际顶级人工智能会议AAAI 2017 开幕在即，雷锋网奉上四大看点集锦 | AAAI 2017
5. AI会议的总结（by南大周志华）