GLIMPSE论文极速读

本文是对文章GLIMPSE: ENABLING WHITE-BOX METHODS TO USE PROPRIETARY MODELS FOR ZERO-SHOT LLMGENERATED TEXT DETECTION的极速描述:

该文章提供了一种在fast-detect-gpt检测方法基础上针对GPT4等闭源模型进行的改进
关于fast-detect-gpt检测方法可见文章
在这里插入图片描述

文章主要思路为:fast-detect-gpt的计算过程需要完整的模型输出概率分布,因此只能使用完全开源的模型,但是由于开源模型的性能并未赶上当前GPT4等先进模型,模型之间的概率分布不一致,因而导致fast-detect-gpt检测方法对于最新模型精度有所下降,但是由于GPT等api能够提供前top_k个token的概率分布,因此该方法如图,在抽样过程中通过一个非常简单,只有两层的mlp网络来通过前top_k个token的概率分布来预测完整的概率分布,其余步骤不变,该改进使得fast-detect-gpt的方法能够借鉴当前先进模型,从而减小检测使用模型与文本生成使用模型之间的分布差异,最终提升了对先进模型的检测精度。

mlp网络在其代码仓库的构建如下:
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值