实现方式
对比【有Context】和【没有Context】,影响Logit的计算,从而降低幻觉:
1. 对比生成的方式,一个是有上下文,一个没有,计算时,分别得到两个Logit分布;
2. 综合两个logit分布(加权相减的方式),得到最终的logit分数,然后进行next-token predict
实现原理
对于有些pretrain阶段过于牢记的知识,使用了Context不一定能够直接改正过来;
使用对比的方式,可以得到使用了Context之后,相对提升最大的词分布,非常简单的方式。