变分互信息蒸馏(Variational mutual information KD)

原文标题是Variational Information Distillation for Knowledge Transfer,是CVPR2019的录用paper。

VID方法

在这里插入图片描述
思路比较简单,就是利用互信息(mutual information,MI)的角度,增加teacher网络与student网络中间层特征的MI,motivation是因为MI可以表示两个变量的依赖程度,MI越大,表明两者的输出越相关。
首先定义输入数据 x ∼ p ( x ) \bm{x}\sim p(\bm{x}) xp(x),给定一个样本 x \bm{x} x,得到关于teacher和student输出的 K K K个对集合 R = { ( t ( k ) , s ( k ) ) } k = 1 K \mathcal{R}=\{(\bm{t}^{(k)},\bm{s}^{(k)})\}_{k=1}^{K} R={(t(k),s(k))}k=1K, K K K表示选择的层数。变量对的MI被定义为 I ( t ; s ) = H ( t ) − H ( t ∣ s ) = − E t [ log ⁡ p ( t ) ] + E t , s [ log ⁡ p ( t ∣ s ) ] I(\bm{t};\bm{s})=H(\bm{t})-H(\bm{t}|\bm{s})\\ =-\mathbb{E}_{\bm{t}}[\log p(\bm{t})]+\mathbb{E}_{\bm{t,s}}[\log p(\bm{t|s})] I(t;s)=H(t)H(ts)=Et[logp(t)]+Et,s[logp(ts)]
之后可以设计如下的loss函数来增大teacher和student之间的输出特征的互信息:
L = L S − ∑ k = 1 K λ k I ( t ( k ) , s ( k ) ) \mathcal{L}=\mathcal{L_{S}}-\sum_{k=1}^{K}\lambda_{k}I(\bm{t}^{(k)},\bm{s}^{(k)}) L=LSk=1KλkI(t(k),s(k))
其中 L S \mathcal{L_{S}} LS表示task-specific的误差, λ k \lambda_{k} λk是超参数用于平衡误差。因为精确的计算MI是困难的,这里采用了变分下界(variational lower bound)的trick,采用variational的思想使用一个variational分布 q ( t ∣ s ) q(\bm{t}|\bm{s}) q(ts)去近似真实分布 p ( t ∣ s ) p(\bm{t}|\bm{s}) p(ts)
Note that variational的思想就是针对某个分布很难求解的时候,采用另外一个分布来近似这个分布的做法,并使用变分信息最大化 (论文:The IM algorithm: A variational approach to information maximization) 的方法求解变分下界(variational low bound),这方法也被用在InfoGAN中。
I ( t ; s ) = H ( t ) − H ( t ∣ s ) = H ( t ) + E t , s [ log ⁡ p ( t ∣ s ) ] = H ( t ) + E t , s [ log ⁡ q ( t ∣ s ) ] + E s [ D K L ( p ( t ∣ s ) ∣ ∣ q ( t ∣ s ) ) ] ≥ H ( t ) + E t , s [ log ⁡ q ( t ∣ s ) ] I(\bm{t};\bm{s})=H(\bm{t})-H(\bm{t}|\bm{s})\\ =H(\bm{t})+\mathbb{E}_{\bm{t,s}}[\log p(\bm{t|s})]\\ =H(\bm{t})+\mathbb{E}_{\bm{t,s}}[\log q(\bm{t|s})]+\mathbb{E}_{\bm{s}}[D_{KL}(p(\bm{t|s})||q(\bm{t|s}))]\\ \geq H(\bm{t})+\mathbb{E}_{\bm{t,s}}[\log q(\bm{t|s})] I(t;s)=H(t)H(ts)=H(t)+Et,s[logp(ts)]=H(t)+Et,s[logq(ts)]+Es[DKL(p(ts)q(ts))]H(t)+Et,s[logq(ts)]
E t , s [ log ⁡ p ( t ∣ s ) ] = E t , s [ log ⁡ q ( t ∣ s ) ] + E s [ D K L ( p ( t ∣ s ) ∣ ∣ q ( t ∣ s ) ) ] \mathbb{E}_{\bm{t,s}}[\log p(\bm{t|s})]=\mathbb{E}_{\bm{t,s}}[\log q(\bm{t|s})]+\mathbb{E}_{\bm{s}}[D_{KL}(p(\bm{t|s})||q(\bm{t|s}))] Et,s[logp(ts)]=Et,s[logq(ts)]+Es[DKL(p(ts)q(ts))]这个关系是由变分信息最大化中得到的,真实分布 log ⁡ p ( t ∣ s ) \log p(\bm{t|s}) logp(ts)的期望等于变分分布 E t , s [ log ⁡ q ( t ∣ s ) ] \mathbb{E}_{\bm{t,s}}[\log q(\bm{t|s})] Et,s[logq(ts)]的期望+两分布的KL散度期望。因为KL散度的值是恒大于0的,所以得到变分下界。进一步可以得到如下的误差函数:
L ~ = L S − ∑ k = 1 K λ k E t ( k ) , s ( k ) [ log ⁡ q ( t ( k ) ∣ s ( k ) ) ] \mathcal{\tilde{L}}=\mathcal{L_{S}}-\sum_{k=1}^{K}\lambda_{k}\mathbb{E}_{\bm{t^{(k)},s^{(k)}}}[\log q(\bm{t^{(k)}|s^{(k)}})] L~=LSk=1KλkEt(k),s(k)[logq(t(k)s(k))]
H ( t ) H(\bm{t}) H(t)由于和待优化的student参数无关,所以是常数。联合的训练学生网络利用target task和最大化条件似然去拟合teacher激活值。

作者采用高斯分布来实例化变分分布,这里的采用heteroscedastic的均值 μ ( ⋅ ) \bm{\mu}(\cdot) μ(),即 μ ( ⋅ ) \bm{\mu}(\cdot) μ()是关于student输出的函数;同时采用homoscedastic的方差 σ \bm{\sigma} σ,即不是关于student输出的函数,作者尝试采用heteroscedastic的均值 σ ( ⋅ ) \bm{\sigma}(\cdot) σ(),但是容易训练不稳定且提升不大。 μ ( ⋅ ) \bm{\mu}(\cdot) μ()其实就是相当于在feature KD时teacher与student之间的回归器,包含卷积等操作。
− log ⁡ q ( t ∣ s ) = − ∑ c = 1 C ∑ h = 1 H ∑ w = 1 W log ⁡ q ( t c , h , w ∣ s ) = ∑ c = 1 C ∑ h = 1 H ∑ w = 1 W log ⁡ σ c + ( t c , h , w − μ c , h , w ( s ) ) 2 2 σ c 2 + c o n s t a n t -\log q(\bm{t|s})=-\sum_{c=1}^{C}\sum_{h=1}^{H}\sum_{w=1}^{W}\log q(t_{c,h,w}|\bm{s})\\ =\sum_{c=1}^{C}\sum_{h=1}^{H}\sum_{w=1}^{W}\log \sigma_{c}+\frac{(t_{c,h,w}-\mu_{c,h,w}(\bm{s}))^{2}}{2\sigma_{c}^{2}}+\rm{constant} logq(ts)=c=1Ch=1Hw=1Wlogq(tc,h,ws)=c=1Ch=1Hw=1Wlogσc+2σc2(tc,h,wμc,h,w(s))2+constant
σ c = log ⁡ ( 1 + e x p ( α c ) ) \sigma_{c}=\log(1+exp(\alpha_{c})) σc=log(1+exp(αc)) α c \alpha_{c} αc是一个可学习的参数。
对于logit层, − log ⁡ q ( t ∣ s ) = − ∑ n = 1 N log ⁡ q ( t n ∣ s ) = ∑ n = 1 N log ⁡ σ n + ( t n − μ n ( s ) ) 2 2 σ n 2 + c o n s t a n t -\log q(\bm{t|s})=-\sum_{n=1}^{N}\log q(t_{n}|\bm{s})\\ =\sum_{n=1}^{N}\log \sigma_{n}+\frac{(t_{n}-\mu_{n}(\bm{s}))^{2}}{2\sigma_{n}^{2}}+\rm{constant} logq(ts)=n=1Nlogq(tns)=n=1Nlogσn+2σn2(tnμn(s))2+constant
这里 μ ( ⋅ ) \bm{\mu}(\cdot) μ()是一个线性的变换矩阵。

与MSE的区别

作者认为当前基于MSE的方法是该方法在方差相同时的特例,即为:
− log ⁡ q ( t ∣ s ) = ∑ n = 1 N ( t n − μ n ( s ) ) 2 2 + c o n s t a n t -\log q(\bm{t|s})=\sum_{n=1}^{N}\frac{(t_{n}-\mu_{n}(\bm{s}))^{2}}{2}+\rm{constant} logq(ts)=n=1N2(tnμn(s))2+constant
VID比MSE的好处为建模了不同维度的方差,使得更加灵活的方式来避免一些model capacity用来到一些无用的信息。MSE采用一样的方差会高度限制student,如果teacher的无用信息也同样的地位拟合,会造成过拟合问题,浪费掉了student的网络capacity。

变分自编码器(Variational Autoencoders,VAE)是一种生成模型,结合了自编码器和变分推断的概念。 VAE的目标是学习输入数据的潜在表示,并通过该表示生成新的样本。与传统的自编码器不同,VAE引入了概率分布的概念,并通过变分推断来学习数据的分布。 以下是VAE的主要组成部分和工作流程: 1. 编码器(Encoder):编码器将输入数据映射到潜在空间中的潜在变量(latent variable),也称为编码(encoding)。编码器的目标是学习数据的分布,并产生潜在变量的均值和方差。 2. 解码器(Decoder):解码器接收潜在变量作为输入,并将其映射回原始数据空间中,以重构输入数据。解码器的目标是学习生成数据的分布,并尽可能准确地重构输入数据。 3. 潜在变量采样(Latent Variable Sampling):在训练过程中,从编码器中获得的均值和方差用于参数化一个概率分布,然后从该分布中采样潜在变量。这个采样过程使得VAE能够生成多样化的样本。 4. 损失函数(Loss Function):VAE使用重构损失和KL散度损失来训练模型。重构损失衡量重构样本与原始样本之间的差异,KL散度损失衡量潜在变量的分布与预定义的先验分布之间的差异。通过最小化这两个损失函数,VAE能够学习到数据的潜在表示。 VAE的训练过程可以概括为以下几个步骤: 1. 输入数据经过编码器,获得潜在变量的均值和方差。 2. 根据潜在变量的均值和方差,从潜在空间中采样一些潜在变量。 3. 采样的潜在变量输入解码器,生成重构样本。 4. 计算重构损失和KL散度损失,并将它们相加得到总体损失。 5. 使用反向传播算法更新编码器和解码器的参数。 6. 重复步骤1-5,直到达到预定的训练迭代次数或达到训练目标。 VAE通过学习数据的潜在表示,能够生成新的样本,并且具有较好的样本多样性和连续性。它在图像生成、特征提取和数据压缩等领域具有广泛的应用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值