ChatGPT检测器(Detector)

ChatGPT检测器(Detector)

现阶段可使用的Detector如以下所示，在网页端有5个（3个支持中文），api有3个途径，代码运行成功的有一个。

网页端

名称	地址	特性
GPTZero	https://gptzero.me/	支持中英文，判定较为严格，有开源代码
OpenAI GPT2 Output Detector	https://openai-openai-detector.hf.space/	支持中英文，判定宽松
Hello-SimpleAI ChatGPT Detector	https://huggingface.co/spaces/Hello-SimpleAI/chatgpt-detector-ling	支持中英文，判定宽松，有开源代码
Contentatscale AI Content Detector	https://contentatscale.ai/ai-content-detector/	仅支持英文，判定较为宽松，最多1500个字符
Writers AI Content Detector	https://writer.com/ai-content-detector/	仅支持英文，判定非常严格

判别总结

相同文本在不同检测器上的判断完全不同，难以将所有标准做一个统一，随机抽取一定文本进行测试，其表现如下图所示：

中文示例

名称	GPTZero	OpenAI GPT2 Output Detector	Hello-SimpleAI ChatGPT Detector
1	entirely by AI	Real 88.39% Fake 11.61%	GLTR 人类 0.99999 PLL 人类 0.51787
2	entirely by human	Real 99.43% Fake 0.57%	GLTR 人类 0.99818 PLL 人类 0.51630
3	entirely by AI	Real 99.65% Fake 0.35%	GLTR 人类 0.99986 PLL 人类 0.51539
4	entirely by AI	Real 99.81% Fake 0.19%	GLTR 人类 0.99337 PLL 人类 0.51751
5	entirely by AI	Real 98.55% Fake 1.45%	GLTR 人类 0.95220 PLL 人类 0.51201

GLTR=生成文本检测模型，PLL=语言模型困惑度模型

GPTZero的判定相较于OpenAI和Hello-SimpleAI的GLTR的来说更加的偏激，GPTZero开源代码中将Perplexity per line<80的值均认为由ai参与。由于GPTZero v1同样使用PLL，所以可以认为与Hello-SimpleAI的PLL的方法是相同模型

英文示例

名称	GPTZero	OpenAI GPT2 Output Detector	Hello-SimpleAI ChatGPT Detector	Contentatscale AI Content Detector	Writers AI Content Detector
1	likely human	Real 99.85% Fake 0.15%	GLTR Human 0.99999 PLL Human 0.99971	59% Human Content Score	18% HUMAN-GENERATED
2	entirely by human	Real 44.88% Fake 55.12%	GLTR Human 0.99999 PLL Human 0.99541	100% Human Content Score	24% HUMAN-GENERATED
3	entirely by human	Real 22.08% Fake 77.92%	GLTR Human 0.99999 PLL Human 0.91835	89% Human Content Score	2% HUMAN-GENERATED
4	entirely by AI	Real 55.36% Fake 44.64%	GLTR Human 0.99999 PLL Human 1.0	95% Human Content Score	35% HUMAN-GENERATED
5	parts by AI	Real 95.09% Fake 4.91%	GLTR Human 0.97186 PLL Human 0.50420	68% Human Content Score	7% HUMAN-GENERATED

API

GPTZero

https://gptzero.me/docs

在注册普通用户情况下，一个小时的最大使用量为150

OpenAI GPT2 Output Detector

https://huggingface.co/roberta-base-openai-detector

对输入的文本有一定的限制，文本过长（len(str)>220~240）将出现503错误，因此需要进行分批处理。

Hello-SimpleAI ChatGPT Detector

https://huggingface.co/Hello-SimpleAI/chatgpt-detector-roberta-chinese

代码运行

GPTZero

github：https://github.com/BurhanUlTayyab/DetectGPT

• 使用Colab运行

https://colab.research.google.com/

• 输入

from model import GPT2PPLV2 as GPT2PPL

model = GPT2PPL()
# 输入语句
sentence = "your text here"
# 使用模型得出结果
res = model(sentence, 100, "v1.1")

• 输出

# 调整Perplexity per line和Burstiness权重来判断文本是否由人工还是AI生成

Perplexity 19 # 文本语句复杂度
Perplexity per line 168.0
Burstiness 304 # 语句最大复杂度

• 优点
  • 检测文本无限制：没有api限制可以无限制判别文本
  • 判别条件可控：可以自行 调整Perplexity per line和Burstiness的权重来判断文本是否由人工还是AI生成