Striking the Right Balance with Uncertainty论文阅读笔记

Striking the Right Balance with Uncertainty

Abstract

在不平衡样本集中训练一个无偏模型是一个困难的问题，作者提出了一种基于贝叶斯不确定性的新的网络结构，该结构主要有一下两个关键之处:

• 首先，对不确定(罕见)类进一步扩展分类边界，避免过拟合，增强其泛化能力。
• 其次，每个样本都应该建模为一个多变量高斯分布的平均向量和一个由样本的不确定性确定的协方差矩阵。

学习边界不仅要考虑单个样本，还要考虑它们在特征空间中的分布。作者提出的方法有效地利用样本和类的不确定性信息来学习鲁棒特征和更可推广的分类器。

1. Introduction

在训练集中如果每类数据的数量不同则造就了不平衡的数据集，此时数据少的类别会破坏分类边界的优化，目前针对数据不平衡的问题主流的处理方式主要有两种：

• 模拟数据分布
• 引入合适的类别权重

对于类不平衡学习，作者主要在两个级别整合贝叶斯不确定性：

• 类级别
• 个体样本级别

该方法是基于罕见类在预测空间中具有较高的不确定性且相关分类器置信水平较低的观察。因此，不确定性可以用来扩展罕见类的分类边界，从而使得分类器更加泛化；

主要观点：分类器应该将较大的区域分配给不确定的(罕见的)样本/类。

Related work

• cost-sensitive loss for CNNs（只考虑了类级别）
• a combination of triplet and quintuplet losses（不可微的和需要大量的预处理）
• A modified softmax to maximize the angular margin（只在超球面上最大化边缘）
• meta-learning： use selective instances for training（使用附加验证集来分配样本权重）

Contributions

• 这是第一个将类不平衡与贝叶斯不确定性估计联系起来的工作
• 合并了类和样本水平的置信估计，以适当地重新塑造学习的边界

本文主要介绍的创新点有：

• softmax损失函数的原则性边际强制公式，由贝叶斯不确定性估计支持。
• 使用多变量高斯分布的样本建模。对类边界进行了优化，考虑了二阶矩，提高了泛化能力。
• 一种完全可区分的loss function，可以很容易地植入到现有的体系结构中，并与其他正则化技术一起使用。

2. The Imbalance Problem

训练集： D = { x k , y k } k = 1 K D=\{x^k,y^k \}_{k=1}^K D={xk,yk}k=1K​

representative vectors: $w_A,w_B$使得loss最小

边界$w$,当且仅当$(w_A-w_B)f=0$时，有$f\in w$；$f$是输入$x$的特征投影；

类别占比：${\tau }_A,{\tau }_B$

最优边界：$w^{\ast }$

2.1. Bias due to Empirical Loss Minimization

$$\begin{gathered} w^{\ast }=\arg \underset{w}{\min }{L}_p(w) \\ 其中,L_P(w)={\int }_{R_B^w}{P}_A(f)df+{\int }_{R_A^w}{P}_B(f)df\text{\hspace{1em}(1)} \end{gathered}$$

$R_A^w,R_B^w$分别代表$A,B$类别的区域，给定训练集$D$，则经验损失为：
KaTeX parse error: Undefined control sequence: \and at position 28: …x^k|f^k\in D^A \̲a̲n̲d̲ ̲f^k\in R_{B}^w\…
假设比例系数${\tau }_A+{\tau }_B=1$，且${\tau }_A\ne {\tau }_B\ne 0.5;|{\tau }_A-{\tau }_B|>0.5$,此时表示两个类别极不均衡，则损失的期望为：
$$E(L_D(w))={\tau }_A{\int }_{R_B^w}{P}_A(f)df+{\tau }_B{\int }_{R_A^w}{P}_B(f)df\text{\hspace{1em}(3)}$$

定理 1

在高不均衡率情况下，最小化经验损失会让假设分割面$\hat{w}$向小类别$z$的方向偏置，因此$R_Z^{w^{\ast }}>R_Z^{\hat{w}}$，换句话说，最优分离器诱导的分类区域比经验学习边界诱导的分类区域大。

证明：

基于式3，由于类之间的不平衡提议，$w^{\ast }$比基于经验损失的假设更有可能产生高的错误，对于任何$\hat{w}:R_{w^{\ast }}^z>R_{\hat{w}}^z$，即：
$$\begin{gathered} {\tau }_A{\int }_{R_B^{w^{\ast }}}{P}_A(f)df+{\tau }_B{\int }_{R_A^{w^{\ast }}}{P}_B(f)df>{\tau }_A{\int }_{R_B^{\hat{w}}}{P}_A(f)df+{\tau }_B{\int }_{R_A^{\hat{w}}}{P}_B(f)df \\ \Rightarrow L_D(w^{\ast })>L_D(\hat{w})\text{\hspace{1em}(4)} \end{gathered}$$

2.2. Cost-sensitive Loss

针对式4，一个看起来可行的方法是对占比小的类别进行重新分配权重；Cost sensitive learning of deep feature represen- tations from imbalanced data给出了该解决方法。但是该方法有两个限制：

• 适当调整类特定成本是一项具有挑战性的任务，因为它需要领域知识，成本通常在开始时是固定的，而不是在培训过程中动态变化。
• 当训练样本是分离的时候，该cost对分离截面$\hat{w}$无效；更糟糕的是当训练样本是不分离的时候，小比例的样本在数据集中的再现与他的误分类成正比：${\tau }_z\propto {\int }_{R_{rest}^w}{P}_z(f)df$
• 该cost无法应用于测试集，因此决策边界相当于没变

结论：尽管该方法提升了准确率，但并没有提高模型的泛化能力

改论文为了解决这些缺点提出了一种新的损失公式，旨在扩展少数类的边界，并对较少代表的类实施约束，以实现更大的泛化性能。

3. Bayesian Uncertainty Estimates Bayesian

贝叶斯网络出了可以得到输出结果还能得到该结果的不确定性评价，我们假设预测的信任程度与类在数据集中的再现有直接关系。由图3可以看出，在训练集中可以重建的类有更小的不确定性，且置信区间较小，相反，无法进行重建的类具有较高的不确定性和较大的置信区间。

我们使用带dropout的深度CNN来获得贝叶斯不确定性估计，具体可以参考论文Dropout as a bayesian approxi- mation: Representing model uncertainty in deep learning，该论文证明了dropout可以被近似为高斯过程，高斯过程是一种贝叶斯技术，该技术建立了相关方程族的先验分布，这种分布是根据观察情况更新的，也就是说，与标签一致的所有方程都被保留。在推理时，预测是所有方程输出的期望，不确定性是他的方差。

dropout:

Dropout开始时是作为正则项设计的。运用该方法进行训练时每一个神经元的激活概率为$p$，但在测试时是用了整个网络的所有神经元得到输出，然后将输出乘以$p$来获得期望。

现在假设 Θ = { θ 1 , . . . , θ L } \Theta=\{\theta_1,...,\theta_L\} Θ={θ1​,...,θL​}是网络$L$层结构的参数，用一个mask——m表示一个独立同分布的伯努利分布，可以获得$N$个对应的不同的网络结构$\hat{\Theta }$样本，然后组成$M$;
M = { Θ ^ i : i ∈ [ 1 , N ] } , w h e r e , Θ ^ i = Θ ∘ m i , m i = { m l : l ∈ [ 1 , L ] } , s . t . , m l ∼ B e r n o u l l i ( p ) (6) M=\{\widehat{\Theta}^i:i\in[1,N]\},where,\widehat{\Theta}^i=\Theta \circ m^i,\\ m^i=\{m_l:l\in[1,L]\},s.t.,m_l\sim Bernoulli(p)\tag{6} M={Θ i:i∈[1,N]},where,Θ i=Θ∘mi,mi={ml​:l∈[1,L]},s.t.,ml​∼Bernoulli(p)(6)

Uncertainty：

对于每一个输入$x_k$，$N$模型结构会生成一系列的输出 { y ^ } \{\widehat{y}\} {y ​}，然后利用蒙特卡罗一阶矩估计计算预期输出$(E_{q(y|x)}[y]):y\approx \frac{1}{N}{\sum }_{i=1}^N\hat{y}(x;{\hat{\Theta }}^i)$，在这里因为高斯过程的的输出后验概率无法求解，所以用$q$来近似。不确定性则是由蒙特卡洛二阶矩阵估计计算$(V_{q(y|x)}[y])$
$$u\approx {\tau }^{-1}{I}_D+\frac{1}{N}\sum _{i=1}^N{\hat{y}}^T\hat{y}-E_{q(y|x)}[y{]}^T{E}_{q(y|x)}[y]\text{\hspace{1em}(7)}$$
在这里$\tau$是模型精度(权重衰减函数)，$I_C\in R^{C\times C}$是一个单位矩阵，$C$是指分类数。

7式中的$I_D$是否是书写错误？

4. Uncertainty based Max-margin Learning The

对于一个特征输入$f$，softmax loss如下定义：
$$L_{sm}=-\log (\frac{exp(w_y^{T}f)}{{\sum }_{j}exp(w_J^{T}f)})\text{\hspace{1em}(8)}$$
由于点乘运算还可以被写成：$w_y^{T}f=||w_y||\cdot ||f||\cdot \cos ({\alpha }_y)$，因此对于一个来自小类别$z$的特征$f$，softmax服从：
$$||w_z||\cdot ||f||\cdot \cos ({\alpha }_z)>||w_{rest}||\cdot ||f||\cdot \cos ({\alpha }_{rest})\text{\hspace{1em}(9)}$$
从直觉上讲，希望对更不确定的阶层施加更大的限制。实验表明，类的不确定性与它在训练集中出现的频率成反比，即稀有类具有更大的不确定性（如上图3所示）。为了提高泛化性能，我们可以对不确定类施加更严格的约束：
$$||w_z||\cdot ||f||\cdot \cos (m_z{\alpha }_z)>||w_{rest}||\cdot ||f||\cdot \cos (m_{rest}{\alpha }_{rest})$$
在这里，$m=\max (1,[0.5u_y]),u_z>u_{rest},0\le {\alpha }_z\le \frac{\pi }{u_z},u_z\in R^{+}$

因此边际最大化的softmax loss可以被写成：
$$L_{sm}^{{}^{\prime }}=-\log (\frac{exp(||w_y||\cdot ||f||\cdot \cos ({\varphi }_y))}{{\sum }_{j}exp(||w_j||\cdot ||f||\cdot \cos ({\alpha }_j))})\text{\hspace{1em}(10)}$$
式中$\varphi (\cdot )$是一个在$[0,\pi ]$上连续单调递减的函数；
$$\varphi ({\alpha }_j)=\{\begin{array}{ll}(-1{)}^r\cos (m{\alpha }_j)-2r,& {\alpha }_{j=y}\in [\frac{r\pi }{m},\frac{(r+1)\pi }{m}]\\ \cos ({\alpha }_j),& j\ne y\end{array}$$
$r\in [0,m-1]$是一个整数，反向传播需要计算$w,f$的梯度，因此将$\cos (m{\alpha }_j)$扩展为第一项$T_m$的切比雪夫展开式：
$$\cos (m{\alpha }_j)=\sum _{t=0}^{[m/2]}(\begin{array}{c}m\\ 2t\end{array})({\cos }^2({\alpha }_j)-1{)}^m\cos ({\alpha }_j{)}^{m-2t}$$
在这里$\cos ({\alpha }_j)$被$\frac{w_j^{T}f}{||w_j||\cdot ||f||}$替换；

5. Sample-level Uncertainty Modeling Although

尽管不确定性驱动的类级边际强制很重要，但并不是类中的所有样本都具有相同的难度级别。可能被误分类的样本同样具有较大的不确定性。因此，作者提出了一种机制，以纳入样本级不确定性的非平衡学习。现有的分类网络只使用样本分布的均值表示来重建每个训练样本。因此作者提出将单个样本表示为其一阶和二阶矩的函数。考虑输入media的深度特征表示是从一个多变量高斯分布中随机采样的：$f\sim N({\mu }_f,{\Sigma }_f)$。因此给定特征f及其真正的类标号y，softmax损失可以通过式8计算。

为了将输入特征正确分类，其在真实类向量的投影应给出一个最大的响应(式9)。相反的，如果下列条件成立一个例子将会被分类错误：
$$\exists j\in [1,C]s.t.,w_y^{T}f<w_j^{T}f,j\ne y\text{\hspace{1em}(11)}$$
作者在考虑到每个样本的分布情况下，量化错误分类的概率。它可以为计算训练样本的损失估计提供一种置信度的度量。在公式8中使用softmax loss直接计算误分类概率是难以处理的，只能近似计算。因此，作者引入了一个简单的误差方程来模拟基本错误行为：
$$\epsilon (f)=w_j^{T}f-w_y^{T}f,j\ne y\text{\hspace{1em}(12)}$$
该误差方程是对服从多元高斯分布输入$f$的线性变化，因此输出服从单元高斯分布。第一和第二次序统计量的误差分布可以用${\mu }_f,{\Sigma }_f$表示:
$$\begin{gathered} {\mu }_{\epsilon }=E[\epsilon (f)]=(w_j-w_y{)}^T{\mu }_f \\ {\sigma }_{\epsilon }^2=E[(\epsilon (f)-{\mu }_{\epsilon }{)}^2]=(w_j-w_y{)}^T{\Sigma }_f(w_j-w_y)\text{\hspace{1em}(13)} \end{gathered}$$
现在，特征$f$的误分类概率可以与错误分布联系起来，因为$E(f)>0$表示误分类。他的互补累积概率分布函数${\hat{F}}_{\epsilon }$为：
$$\begin{gathered} {\hat{F}}_{\epsilon }=P(\epsilon (f)>0)=1-P(\epsilon (f)<0)=1-P(\frac{\epsilon (f)-{\mu }_{\epsilon }}{{\sigma }_{\epsilon }}<-\frac{{\mu }_{\epsilon }}{{\sigma }_{\epsilon }}) \\ ifz=\frac{\epsilon (f)-{\mu }_{\epsilon }}{{\sigma }_{\epsilon }}\sim N(0,1) \\ {\hat{F}}_{\epsilon }(0)=1-{\hat{F}}_z(-\frac{{\mu }_{\epsilon }}{{\sigma }_{\epsilon }})=\frac{1}{2}(1+erf[\frac{{\mu }_{\epsilon }}{\sqrt{2{\sigma }_{\epsilon }^2}}])\text{\hspace{1em}(14)} \end{gathered}$$
$F_z(\cdot )$是CDF方程；

然后，使用概率估计值重新加权损失值，使不确定性合并。$\varphi (\cdot )$函数修改如下，以得到公式10中改进的损失函数:
$$\varphi ({\alpha }_j)=\{\begin{array}{ll}{\hat{F}}_{\epsilon }(0)((-1{)}^r\cos (m{\alpha }_j)-2r),& {\alpha }_{j=y}\in [\frac{r\pi }{m},\frac{(r+1)\pi }{m}]\\ \cos ({\alpha }_j),& j\ne y\end{array}\text{\hspace{1em}(15)}$$
当不确定度为0且$m=1$时，修正后的损失函数与原softmax损失相等。