REALM——检索增强的预训练模型

3.1 生成过程

将输入x和输出y之间的分布p(y|x)分解为两部分：
1）检索器$p(z|x)$，$z$是来自文集$Z$的文章，$x$为输入。
2）生成器$p(y|z,x)$。
为了得到y将z视为隐变量，利用贝叶斯公式marginalize一下：
p ( y ∣ x ) = ∑ z Z p ( y ∣ z , x ) ∗ p ( z ∣