变分互信息蒸馏(Variational mutual information KD)

原文标题是Variational Information Distillation for Knowledge Transfer,是CVPR2019的录用paper。

VID方法

在这里插入图片描述
思路比较简单,就是利用互信息(mutual information,MI)的角度,增加teacher网络与student网络中间层特征的MI,motivation是因为MI可以表示两个变量的依赖程度,MI越大,表明两者的输出越相关。
首先定义输入数据 x ∼ p ( x ) \bm{x}\sim p(\bm{x}) xp(x),给定一个样本 x \bm{x} x,得到关于teacher和student输出的 K K K个对集合 R = { ( t ( k ) , s ( k ) ) } k = 1 K \mathcal{R}=\{(\bm{t}^{(k)},\bm{s}^{(k)})\}_{k=1}^{K} R={(t(k),s(k))}k=1K, K K K表示选择的层数。变量对的MI被定义为 I ( t ; s ) = H ( t ) − H ( t ∣ s ) = − E t [ log ⁡ p ( t ) ] + E t , s [ log ⁡ p ( t ∣ s ) ] I(\bm{t};\bm{s})=H(\bm{t})-H(\bm{t}|\bm{s})\\ =-\mathbb{E}_{\bm{t}}[\log p(\bm{t})]+\mathbb{E}_{\bm{t,s}}[\log p(\bm{t|s})] I(t;s)=H(t)H(ts)=Et[logp(t)]+Et,s[logp(ts)]
之后可以设计如下的loss函数来增大teacher和student之间的输出特征的互信息:
L = L S − ∑ k = 1 K λ k I ( t ( k ) , s ( k ) ) \mathcal{L}=\mathcal{L_{S}}-\sum_{k=1}^{K}\lambda_{k}I(\bm{t}^{(k)},\bm{s}^{(k)}) L=LSk=1KλkI(t(k),s(k))
其中 L S \mathcal{L_{S}} LS表示task-specific的误差, λ k \lambda_{k} λk是超参数用于平衡误差。因为精确的计算MI是困难的,这里采用了变分下界(variational lower bound)的trick,采用variational的思想使用一个variational分布 q ( t ∣ s ) q(\bm{t}|\bm{s}) q(ts)去近似真实分布 p ( t ∣ s ) p(\bm{t}|\bm{s}) p(ts)
Note that variational的思想就是针对某个分布很难求解的时候,采用另外一个分布来近似这个分布的做法,并使用变分信息最大化 (论文:The IM algorithm: A variational approach to information maximization) 的方法求解变分下界(variational low bound),这方法也被用在InfoGAN中。
I ( t ; s ) = H ( t ) − H ( t ∣ s ) = H ( t ) + E t , s [ log ⁡ p ( t ∣ s ) ] = H ( t ) + E t , s [ log ⁡ q ( t ∣ s ) ] + E s [ D K L ( p ( t ∣ s ) ∣ ∣ q ( t ∣ s ) ) ] ≥ H ( t ) + E t , s [ log ⁡ q ( t ∣ s ) ] I(\bm{t};\bm{s})=H(\bm{t})-H(\bm{t}|\bm{s})\\ =H(\bm{t})+\mathbb{E}_{\bm{t,s}}[\log p(\bm{t|s})]\\ =H(\bm{t})+\mathbb{E}_{\bm{t,s}}[\log q(\bm{t|s})]+\mathbb{E}_{\bm{s}}[D_{KL}(p(\bm{t|s})||q(\bm{t|s}))]\\ \geq H(\bm{t})+\mathbb{E}_{\bm{t,s}}[\log q(\bm{t|s})] I(t;s)=H(t)H(ts)=H(t)+Et,s[logp(ts)]=H(t)+Et,s[logq(ts)]+Es[DKL(p(ts)q(ts))]H(t)+Et,s[logq(ts)]
E t , s [ log ⁡ p ( t ∣ s ) ] = E t , s [ log ⁡ q ( t ∣ s ) ] + E s [ D K L ( p ( t ∣ s ) ∣ ∣ q ( t ∣ s ) ) ] \mathbb{E}_{\bm{t,s}}[\log p(\bm{t|s})]=\mathbb{E}_{\bm{t,s}}[\log q(\bm{t|s})]+\mathbb{E}_{\bm{s}}[D_{KL}(p(\bm{t|s})||q(\bm{t|s}))] Et,s[logp(ts)]=Et,s[logq(ts)]+Es[DKL(p(ts)q(ts))]这个关系是由变分信息最大化中得到的,真实分布 log ⁡ p ( t ∣ s ) \log p(\bm{t|s}) logp(ts)的期望等于变分分布 E t , s [ log ⁡ q ( t ∣ s ) ] \mathbb{E}_{\bm{t,s}}[\log q(\bm{t|s})] Et,s[logq(ts)]的期望+两分布的KL散度期望。因为KL散度的值是恒大于0的,所以得到变分下界。进一步可以得到如下的误差函数:
L ~ = L S − ∑ k = 1 K λ k E t ( k ) , s ( k ) [ log ⁡ q ( t ( k ) ∣ s ( k ) ) ] \mathcal{\tilde{L}}=\mathcal{L_{S}}-\sum_{k=1}^{K}\lambda_{k}\mathbb{E}_{\bm{t^{(k)},s^{(k)}}}[\log q(\bm{t^{(k)}|s^{(k)}})] L~=LSk=1KλkEt(k),s(k)[logq(t(k)s(k))]
H ( t ) H(\bm{t}) H(t)由于和待优化的student参数无关,所以是常数。联合的训练学生网络利用target task和最大化条件似然去拟合teacher激活值。

作者采用高斯分布来实例化变分分布,这里的采用heteroscedastic的均值 μ ( ⋅ ) \bm{\mu}(\cdot) μ(),即 μ ( ⋅ ) \bm{\mu}(\cdot) μ()是关于student输出的函数;同时采用homoscedastic的方差 σ \bm{\sigma} σ,即不是关于student输出的函数,作者尝试采用heteroscedastic的均值 σ ( ⋅ ) \bm{\sigma}(\cdot) σ(),但是容易训练不稳定且提升不大。 μ ( ⋅ ) \bm{\mu}(\cdot) μ()其实就是相当于在feature KD时teacher与student之间的回归器,包含卷积等操作。
− log ⁡ q ( t ∣ s ) = − ∑ c = 1 C ∑ h = 1 H ∑ w = 1 W log ⁡ q ( t c , h , w ∣ s ) = ∑ c = 1 C ∑ h = 1 H ∑ w = 1 W log ⁡ σ c + ( t c , h , w − μ c , h , w ( s ) ) 2 2 σ c 2 + c o n s t a n t -\log q(\bm{t|s})=-\sum_{c=1}^{C}\sum_{h=1}^{H}\sum_{w=1}^{W}\log q(t_{c,h,w}|\bm{s})\\ =\sum_{c=1}^{C}\sum_{h=1}^{H}\sum_{w=1}^{W}\log \sigma_{c}+\frac{(t_{c,h,w}-\mu_{c,h,w}(\bm{s}))^{2}}{2\sigma_{c}^{2}}+\rm{constant} logq(ts)=c=1Ch=1Hw=1Wlogq(tc,h,ws)=c=1Ch=1Hw=1Wlogσc+2σc2(tc,h,wμc,h,w(s))2+constant
σ c = log ⁡ ( 1 + e x p ( α c ) ) \sigma_{c}=\log(1+exp(\alpha_{c})) σc=log(1+exp(αc)) α c \alpha_{c} αc是一个可学习的参数。
对于logit层, − log ⁡ q ( t ∣ s ) = − ∑ n = 1 N log ⁡ q ( t n ∣ s ) = ∑ n = 1 N log ⁡ σ n + ( t n − μ n ( s ) ) 2 2 σ n 2 + c o n s t a n t -\log q(\bm{t|s})=-\sum_{n=1}^{N}\log q(t_{n}|\bm{s})\\ =\sum_{n=1}^{N}\log \sigma_{n}+\frac{(t_{n}-\mu_{n}(\bm{s}))^{2}}{2\sigma_{n}^{2}}+\rm{constant} logq(ts)=n=1Nlogq(tns)=n=1Nlogσn+2σn2(tnμn(s))2+constant
这里 μ ( ⋅ ) \bm{\mu}(\cdot) μ()是一个线性的变换矩阵。

与MSE的区别

作者认为当前基于MSE的方法是该方法在方差相同时的特例,即为:
− log ⁡ q ( t ∣ s ) = ∑ n = 1 N ( t n − μ n ( s ) ) 2 2 + c o n s t a n t -\log q(\bm{t|s})=\sum_{n=1}^{N}\frac{(t_{n}-\mu_{n}(\bm{s}))^{2}}{2}+\rm{constant} logq(ts)=n=1N2(tnμn(s))2+constant
VID比MSE的好处为建模了不同维度的方差,使得更加灵活的方式来避免一些model capacity用来到一些无用的信息。MSE采用一样的方差会高度限制student,如果teacher的无用信息也同样的地位拟合,会造成过拟合问题,浪费掉了student的网络capacity。

已标记关键词 清除标记
相关推荐
随着机器学习热度的增加和其中“中国力量”的逐渐强大,在各大顶级会议上有越来越多的中国组织排名靠前,大有争夺头把交椅的势头。 比如,本次ICML,清华大学有 12 篇论文被收录;华裔作者的数量也令人惊讶,如佐治亚理工学院终身副教授、机器学习中心副主任宋乐署名的就有8篇论文。 而宋乐教授的另外一个身份,就是蚂蚁金服人工智能部研究员。 蚂蚁金服成为ICML 上“中国力量”的代表之一,为大会奉献了8篇论文。其中,六篇含金量十足的Oral Paper,成为议程上研讨会的主角,接受与会专家的热烈讨论。 这些论文几乎每篇署名作者都有世界级学术专家。比如人工智能教父,蚂蚁金服科学智囊团主席迈克尔·欧文·乔丹 (Michael I. Jordan),以及上面提到的佐治亚理工学院机器学习中心副主任,在蚂蚁金服人工智能部担任研究员的宋乐教授等。 不仅如此,蚂蚁金服还在本届大会上展示了多项核心技术和产品:基于强大的深度学习能力开发的定损宝、自研的图结构处理Graph Embedding 技术,以及基于图像处理和自然语言理解技术开发的智能客服等。特别是定损宝,将图像识别技术和车险领域首次结合,每年有望为中国保险公司节约数十亿元人民币成本,备受参与ICML 2018 的业界人士关注。 和顶级学术界人才深度合作,凸显蚂蚁金服在机器学习方面的能力,而将学术成就快速转化为商业级产品更是证明了蚂蚁金服的的决心——人才的吸引力和学术商用的两手并重,让首次参会的蚂蚁金服就成为了这场顶级学术会议上的耀眼新星。 本下载是第一篇论文——《Learning to Explain: An Information-Theoretic Perspective on Model Interpretation》
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页