论文阅读 Decoupling “when to update” from “how to update”

NIPS2017的文章。

之前我们设计supervised的NN都是采用从data中取出一些batch，然后用这些data来通过loss 来update 网络中的参数，但是有一个很明显的问题是，为了training，我们需要的data会很多，但是这些data会有noise，因为标注并不是所有的都那么准确。所以如果我们用错误的data label来update我们的network，很有可能我们的network此时预测正确了，但是label告诉network，它错了，这样update以后，performance会降低。这篇文章提出了我们要设计两个predictor，当两个predictor预测没有分歧的时候，网络不更新，有disagreement的时候网络才进行更新；也就是决定了when to update。

其实也就是maintain了两个网络，这两个网络的不同只是在于random initialization而已，然后只在这两个网络有分歧的时候才进行bp的更新。

为了证明这个方法的鲁棒性，作者在通过给定的face来预测gender的任务上进行实验，用的是Labled Faces in the Wild 数据集，原来数据集其中并没有gender label，只有每个人脸的name的label。gender label是作者在网上找了个根据name 预测gender的service来标的，所以噪声很大。作者在这个任务上表现很好，并且在clear的数据集上，作者的方法也表现的很好。

作者做了收敛性证明，这里就不展开了。