本文是对文章GLIMPSE: ENABLING WHITE-BOX METHODS TO USE PROPRIETARY MODELS FOR ZERO-SHOT LLMGENERATED TEXT DETECTION的极速描述:
该文章提供了一种在fast-detect-gpt检测方法基础上针对GPT4等闭源模型进行的改进
关于fast-detect-gpt检测方法可见文章
文章主要思路为:fast-detect-gpt的计算过程需要完整的模型输出概率分布,因此只能使用完全开源的模型,但是由于开源模型的性能并未赶上当前GPT4等先进模型,模型之间的概率分布不一致,因而导致fast-detect-gpt检测方法对于最新模型精度有所下降,但是由于GPT等api能够提供前top_k个token的概率分布,因此该方法如图,在抽样过程中通过一个非常简单,只有两层的mlp网络来通过前top_k个token的概率分布来预测完整的概率分布,其余步骤不变,该改进使得fast-detect-gpt的方法能够借鉴当前先进模型,从而减小检测使用模型与文本生成使用模型之间的分布差异,最终提升了对先进模型的检测精度。
mlp网络在其代码仓库的构建如下: