论文笔记之Label-Free Supervision of Neural Networks with Physics and Domain Knowledge

最新推荐文章于 2023-07-04 18:18:56 发布

BVL10101111

最新推荐文章于 2023-07-04 18:18:56 发布

阅读量3.6k

点赞数 5

分类专栏：论文笔记 dl

本文链接：https://blog.csdn.net/BVL10101111/article/details/77996225

版权

这篇AAAI 2017最佳论文提出了一种无标签监督学习方法，利用领域知识和物理定律作为约束，替代传统监督学习中的标签数据。在三个实验中，包括自由落体物体跟踪、行人位置预测和因果关系检测，证明了这种方法的有效性。通过设计满足特定物理方程的约束函数，能够在无标签的情况下进行监督学习。

摘要由CSDN通过智能技术生成

这一篇是AAAI 2017的best paper。出自Stanford ，随手查了一下，二作Stefano Ermon指导的AAAI 2017的另一篇paper，拿了Best Student Paper Award (CompSust Track)。在此膜拜一发。

一.题目理解

不得不说，一篇好的paper，题目很重要，是否吸引人。比如这一篇，猛地一看感觉很有内容，想法很新颖。

label-free : 训练时，不使用任何标签数据

Supervision ：不用带有label的数据，干的却是监督学习的事情。

Physics and Domain Knowledge：采用领域相关的知识，来作为训练时的监督信息。

由题目可得，作者是要用domain相关的知识，来代替传统监督学习中的标签信息，从而达到不使用label情况下，监督学习的目的。

二.Motivation

1.标签数据是稀少并且昂贵的，但是监督学习，往往需要大量的标签数据

2.如果不带标签训练数据，往往陷入无监督学习的境地，而无监督学习得到的特征往往是朴素的，没有特定的含义与语义，这对于特定的任务而言，往往是不够的。

因此，希望通过一种方法，在监督学习的同时，而不需要使用标签数据，来尽可能达到甚至是超过，带标签的监督学习的精度。

三.Contribution

主要贡献：提出了一种，通过限制条件，即domain相关的知识来约束输出空间，来进行监督学习的方法。

这样一种方法的好处有两点：

1.训练时不需要label

2.这样一种domain相关的约束，往往是对于多种数据集同时有效的，所以，这样一种方式是generality的。

四.Problem setup

对于传统的监督学习而言：

其中，

f $f$ 是要学习的函数，

xi $x_{i}$ 表示输入，

yi $y_{i}$ 表示

xi $x_{i}$ 对应的label也就是监督信息。

l $l$ 是loss function。

而在这篇paper中，学习的一种表示是：

其中，

g $g$ 则表示的是domain相关的一种约束函数，通过这样一种约束，达到监督学习的目的。

R $R$ 是正则项，这里的正则项主要的目的是为了避免函数

f $f$ 是一个平凡解。
因为domain相关的约束对于特定的问题而言，往往是必要不充分的，因此如果仅仅依靠domain来约束的话，很有可能导致学习的 $f$ 是一个平凡解。所以引入了正则项 $R$
这里可以看到，学习的过程中是不包含标签

yi $y_{i}$ 的，因此是一种label-free的监督学习。

那么这个 $g$ 具体的表达式是什么？可以这么说，没有固定的一种表达，不同的task，不同的domain，可能 $g$ 不尽相同，作者只是提出了这样一种想法。而为了验证这种想法的正确性，作者在三种不同的任务上（两种连续任务，一种离散任务），设计了 $g$ ，并且做了相应的测试。接下来，分别细讲这三种任务。