MMI:Maximum Mutual Information
1. 背景
在传统的seq2seq领域,多样性问题一直是个令人困扰的问题,一个典型的例子就是bot领域,在回答的时候容易生成一些非常safe,grammatical的reply,比如“呵呵”,“I don’t know”之类,这些回答可以顺应人们的问题,但是基本没有太多实际的意义,试想,谁会使用一个问啥都说不知道的bot呢。
针对这个问题,有很多相关的研究,比如模型派倾向于通过复杂精妙的模型来提升diversity,也有一些研究倾向于在损失函数领域作出有效调整,本篇论文便是损失函数领域的工作。
尽管seq2seq有着需要专业领域知识少,可以端到端训练,可以学习到source sentence与target sentence之间的语义和句法信息等优势,不过,它也有只建模source->target的单向关系,而忽略了target->source的依赖关系的劣势,而反向依赖在phrase-based的模型上有着良好的表现,所以,如果可以为seq2seq模型加入这个信息,模型的能力应该会有比较好的提升。
基于这样的想法,作者提出在seq2seq中引入双向关系,并通过最大化互信息来改善seq2seq的效果。
2. 互信息
在概率论和信息论中,两个随机变量的互信息(mutual Information,简称MI)或转移信息(transinformation)是变量间相互依赖性的量度。不同于相关系数,互信息并不局限于实值随机变量,它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息是点间互信息(PMI)的期望值。互信息最常用的单位是bit。
一般地,两个离散随机变量 X 和 Y 的互信息可以定义为:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HOmvarhq-1632883389535)(https://wikimedia.org/api/rest_v1/media/math/render/svg/6a75f80322072168ff9ecb8cde63cca5aa9218e1)]
其中 p(x, y) 是 X 和 Y 的联合概率分布函数,而 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GgkF7NyK-1632883389537)(https://wikimedia.org/api/rest_v1/media/math/render/svg/8cb7afced134ef75572e5314a5d278c2d644f438)] 和 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XXj8Ndlk-1632883389539)(https://wikimedia.org/api/rest_v1/media/math/render/svg/6b2c472d927e5b59281522a993493664cd3f4422)] 分别是 X 和 Y 的边缘概率分布函数。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FeW6c8rV-1632883389541)(https://wikimedia.org/api/rest_v1/media/math/render/svg/1caffcbf585eb07b171b1def8b2b5fd0290a904e)]
其中 p(x, y) 当前是 X 和 Y 的联合概率密度函数,而 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LHII9t1p-1632883389542)(https://wikimedia.org/api/rest_v1/media/math/render/svg/8cb7afced134ef75572e5314a5d278c2d644f438)] 和 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OeqD4us7-1632883389543)(https://wikimedia.org/api/rest_v1/media/math/render/svg/6b2c472d927e5b59281522a993493664cd3f4422)] 分别是 X 和 Y 的边缘概率密度函数。
上面的公式不够直观,可以进行如下的化简:
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲I(X;Y) &= \int_…
直观上,互信息度量 X 和 Y 共享的信息:它度量知道这两个变量其中一个,对另一个不确定度减少的程度。例如,如果 X 和 Y 相互独立,则知道 X 不对 Y 提供任何信息,反之亦然,所以它们的互信息为零。在另一个极端,如果 X 是 Y 的一个确定性函数,且 Y 也是 X 的一个确定性函数,那么传递的所有信息被 X 和 Y 共享:知道 X 决定 Y 的值,反之亦然。因此,在此情形互信息与 Y(或 X)单独包含的不确定度相同,称作 Y(或 X)的熵。而且,这个互信息与 X 的熵和 Y 的熵相同。(这种情形的一个非常特殊的情况是当 X 和 Y 为相同随机变量时。)
3.流程
论文主要通过3步