©PaperWeekly 原创 · 作者 | 苏剑林
单位 | 追一科技
研究方向 | NLP、神经网络
在上一篇文章《从熵不变性看 Attention 的 Scale 操作》中,我们从熵不变性的角度推导了一个新的 Attention Scale,并且实验显示具有熵不变性的新 Scale 确实能使得 Attention 的外推性能更好。这时候笔者就有一个很自然的疑问:
有没有类似 L2 Normalization 之类的操作,可以直接对概率分布进行变换,使得保持原始分布主要特性的同时,让它的熵为指定值?
笔者带着疑问搜索了一番,发现没有类似的研究,于是自己尝试推导了一下,算是得到了一个基本满意的结果,暂称为“熵归一化(Entropy Normalization)”,记录在此,供有需要的读者参考。
幂次变换
首先,假设 元分布 ,它的熵定义为:
由于 ,所以 ,因此 ,当某个 为 1、其余 为 0 时(one hot),取得最小值 0;此外,也可以证明当所有 等于 时, 取得最大值 ,所以 的取值范围是 。
所以,我们首先要找一种分布的变换,它能够保持分布的主要信息,并且有能力将分布的熵从 0 到 进行变换。这里选择的是幂次变换: