2024年最新伯克利研究院推出Ghostbuster用于检测由LLM代笔的文本，2024年最新2024Golang常见面试题分享

最新推荐文章于 2024-10-11 17:04:33 发布

2401_84924979

最新推荐文章于 2024-10-11 17:04:33 发布

阅读量249

点赞数 4

文章标签： go 学习面试

本文链接：https://blog.csdn.net/2401_84924979/article/details/138904339

版权

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Go语言开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取

Ghostbuster的架构，用于检测人工智能生成文本的最先进的新方法

像 ChatGPT 这样的大型语言模型写得非常好，但事实上，它们已经成为一个棘手的问题。学生们已经开始使用这些模型代写作业，导致一些学校禁止 ChatGPT。此外，这些模型也容易产生带有事实错误的文本，因此谨慎的读者可能想知道生成人工智能工具是否被用来代写新闻文章或其他来源，然后再相信它们。

教师和读者可以做些什么以应对？现有的检测人工智能生成文本的工具有时在处理与训练数据不同的数据时表现不佳。此外，如果这些模型错误地将真实的人类写作归类为人工智能生成的，它们可能会危及那些真实作品受到质疑的学生。

Ghostbuster，这是一种检测人工智能生成文本的最先进的方法。Ghostbuster 的工作原理是在几个较弱的语言模型下找到在文档中生成每个标记的概率，然后根据这些概率组合函数作为最终分类器的输入。Ghostbuster 不需要知道使用什么模型来生成文档，也不需要知道在该特定模型下生成文档的概率。这一特性使 Ghostbuster 对于检测可能由未知模型或黑盒模型生成的文本特别有用，例如流行的商业模型 ChatGPT 和 Claude，这些模型的概率不可用。我们特别感兴趣的是确保Ghostbuster 能够很好地概括，因此我们评估了文本生成的一系列方式，包括不同的领域（使用新收集的论文、新闻和故事数据集）、语言模型或提示。

人工创作和 AI 生成的文本示例

为什么采用这种方法

目前许多人工智能生成的文本检测系统很难对不同类型的文本进行分类（例如，不同的写作风格，或不同的文本生成模型或提示）。仅使用困惑的简单模型通常无法捕获更复杂的特征，并且在新的写作领域中表现尤其差。事实上，我们发现，在某些领域，包括非英语母语人士的数据，仅困惑的基线比随机基线更糟糕。同时，基于大型语言模型（如 RoBERTa）的分类器很容易捕获复杂的特征，但对训练数据拟合过度且泛化效果不佳：我们发现 RoBERTa 基线具有灾难性的最坏情况泛化性能，有时甚至比仅困惑的基线更差。零样本方法在不对标记数据进行训练的情况下，通过计算文本由特定模型生成的概率来对文本进行分类，当实际使用不同的模型生成文本时，也往往表现不佳。

Ghostbuster 的工作原理

Ghostbuster 使用三个阶段的训练过程：计算概率、选择特征、和分类器训练。

计算概率：我们通过计算在一系列较弱的语言模型（一个单元模型、一个三元模型和两个非指令调优的 GPT-3 模型，ada 和 davinci）下生成文档中每个单词的概率，将每个文档转换为一系列向量。

选择特征：我们使用结构化搜索程序来选择特征，其工作原理是（1）定义一组组合概率的向量和标量运算，以及（2）使用正向特征选择搜索这些操作的有用组合，重复添加最佳剩余特征。

分类器训练：我们根据基于概率的最佳特征和一些额外的手动选择特征训练线性分类器。

结果

当在同一领域进行训练和测试时，Ghostbuster 在所有三个数据集中都取得了 99.0 F1，比 GPTZero 高出 5.9 F1，比 DetectGPT 高出 41.6 F1。在域外，Ghostbuster 在所有条件下的平均 F1 为 97.0，比 DetectGPT 高出 39.6 F1，比 GPTZero 高出 7.5 F1。当在所有数据集上进行域内评估时，我们的 RoBERTa 基线达到了 98.1 F1，但其泛化性能不一致。Ghostbuster 在除创意写作领域外的所有领域都优于 RoBERTa 基线，并且平均而言，域外表现比 RoBERTa 好得多（13.8 F1 利润率）。