【论文精读】Learning Bounds for Importance Weighting

Learning Bounds for Importance Weighting

原论文地址:Learning Bounds for Importance Weighting

补充材料:Supplemental material

Abstract

通过Renyi熵给出了importance weighting方法的收敛的理论依据,并且据此提出了几种新的importance weight方法,还讨论了归一化weights的性质。

1 Introduction

现实世界中机器学习训练数据和测试数据样本的分布会有偏差。一个常见的修正方法叫做importance weighting,它通过给不同的训练样本的带价值赋予权重来平衡这种偏差。一种常见的权重形式是w(x)=P(x)/Q(x)w(x) = P(x)/Q(x),其中PPQQ分别是测试数据分布和训练样本分布,这样做可以得到泛化误差的无偏估计。但这样做会有一些问题,Figure 1中展示了importance weighting失败的例子。

在这里插入图片描述

目标数据和源数据都是两个相同的高斯分布,但标准差不同,用标准差之比σQ/σP\sigma_Q/\sigma_P表示importance weighting进行训练,当σQ/σP=0.3\sigma_Q/\sigma_P=0.3时表现不好,当σQ/σP=0.7\sigma_Q/\sigma_P=0.7时表现较好(两者分布越接近,误差越小)。许多文献表明importance weighting使用时需要比较谨慎并且强调需要找到收敛范围并且保证通过这种技术是可以学习的。

作者通过标准泛化边界证明,当权重有界时,important weighting可以成功。但这种条件不太实用,作者证明了即使权重不是有界的,在一个相对弱的条件,即权重的二阶矩有界时,也能保证收敛,这个条件与PPQQRenyi熵有关。作者据此探索了其他reweighting的方法。

2 Preliminaries

2.1 Renyi Divergences

Renyi熵可以用来衡量两个分布之间的相关性,公式如下:

在这里插入图片描述

简单变形:

在这里插入图片描述

Importance Weight

PPQQ的importance weight定义为w(x)=P(x)/Q(x)w(x) = P(x)/Q(x),可以得到如下引理及证明(期望是关于QQ的):

在这里插入图片描述

既然是关于Q的,那么期望很容易得到就是1。根据Renyi熵,二阶矩(平方的期望)可以表示如下:

在这里插入图片描述

方差就是平方的期望(二阶矩)减去期望的平方:

在这里插入图片描述

没加weights和加了weights的loss如下:

在这里插入图片描述

Lh(x)L_h(x)表示L(h(x),f(x))L(h(x), f(x)),那么由于非归一化的w(x)w(x)是无偏的,那么:

在这里插入图片描述

下面的引理给出了二阶矩的边界:

在这里插入图片描述

对于α=1\alpha=1,不等式变为:

在这里插入图片描述

证明:

在这里插入图片描述

里面用到两个不等式,其中一个是赫德尔不等式

3 LearningGuarantees-BoundedCase

w(x)w(x)有界时,令M=supxw(x)=d(PQ)M=\text{sup}_xw(x)=d_\infin(P||Q)dα(PQ)d_\alpha(P||Q)关于α\alpha单调递增),根据Hoeffding不等式,有以下命题:

在这里插入图片描述

上界MM有可能很大,下面又给出了下面这个更友好一点的定理:

在这里插入图片描述

证明中用随机变量ZZ表示w(x)Lh(x)R(h)w(x)L_h(x)-R(h),那么ZZ的方差:

在这里插入图片描述

根据Bernstein不等式得到:

在这里插入图片描述

δ\delta作为概率上界带入可整理得到下面的不等式以最低概率1δ1-\delta成立:

在这里插入图片描述

再用一个简单的不等式变换得到:

在这里插入图片描述

这个结果对于任意的假设集都成立,特别地对于一个有限假设集α=1\alpha=1有如下结果:

在这里插入图片描述

下面的命题给出了一个下界,说明了2阶的Renyi熵对于importance weighting收敛的重要意义:

在这里插入图片描述

Learning Guarantees - Unbounded Case

d(PQ)<d_\infin(P||Q)<\infin的条件并不一定有效,下面讨论一些无界的例子。

4.1 Examples

对于下面的分布:

在这里插入图片描述

在这里插入图片描述

importance weights是无界的,2阶的Renyi熵:

在这里插入图片描述

对于σQ>22σP\sigma_Q>\frac{\sqrt2}{2}\sigma_P,importance weights的方差是有界的,在Figure 1最右侧图中importance weights是无界的,但其二阶矩有界。但对于σQ=0.3σP\sigma_Q=0.3\sigma_P学习就困难得多了。

然后又在高斯分布的例子上说为什么有时候importance weights会失败。同时,importance weights归一化有时也不能完全解决问题。

Importance weighting learning bounds - unbounded case

这里说明即使importance weights无界,只要二阶矩有界,那么泛化误差有界。

在这里插入图片描述

这种无界的情况下收敛的速率会略有下降(O(m3/8)O(m^{-3/8}) vs O(m1/2)O(m^{-1/2}))。

5 Alternative reweighting algorithms

这里介绍了如何找其他的weights策略u(x)u(x)来代替上面讨论的w(x)=P(x)/Q(x)w(x)=P(x)/Q(x)。首先给出了下面的定理:

在这里插入图片描述

这是对w(x)w(x)u(x)u(x)的偏差和二阶矩的一种权衡,可以由如下的优化问题表示:

在这里插入图片描述

作者给出了一种利用分位点确定uu的方法:用q个分位点之间ww的均值表示uu。这样,当λ\lambda比较小时,w(x)w(x)u(x)u(x)的偏差项主导,那么分位点越多,uu就越接近ww;当λ\lambda比较大时,uu的方差项主导,越接近没有importance weighting的情况。另外,作者还介绍了一种通过threshold限制ww的方法。Figure 2展示了改进的importance weight方法的结果。

在这里插入图片描述

6 Relationship between normalized and unnormalized weights

归一化的weights将ww进行了限制,但是这样就不是无偏的了,另外在Section 4中提到的,会使得有些样本的ww占主导地位。

7 Conclusion

本文利用Renyi熵在理论和实践上说明了权重有界和权重无界但二阶矩有界的情况下importance weight方法的可行性。另外提出了两种改进的Importance weighting方法。

发布了16 篇原创文章 · 获赞 7 · 访问量 1万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览