论文翻译：EMNLP-2023.CCF-B.Kent K. Chang.Speak, Memory: An Archaeology of Books Known to ChatGPT/GPT-4

已于 2024-09-27 14:37:35 修改
阅读量61 收藏
点赞数
分类专栏： 论文翻译（不要订阅，我要改成免费的） LLMs-数据污染 文章标签： chatgpt 人工智能
于 2024-09-23 11:57:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WhiffeYF/article/details/142454605
版权

Speak, Memory: An Archaeology of Books Known to ChatGPT/GPT-4
https://arxiv.org/pdf/2305.00118

《说吧，记忆：对ChatGPT/GPT-4所知书籍的考古学研究》

文章目录

摘要

在这项工作中，我们进行了数据考古学研究，通过使用名称填空成员推断查询来推断ChatGPT和GPT-4所知的书籍。我们发现，OpenAI模型已经记住了大量受版权保护的材料，记忆的程度与这些书籍的段落在网络出现的频率有关。这些模型对未知书籍集的记忆能力，使得文化分析的测量有效性评估变得复杂，因为它们污染了测试数据；我们表明，对于下游任务，模型在记忆书籍上的表现远胜于非记忆书籍。我们认为，这支持了开放模型的理由，即其训练数据是已知的。
In this work, we carry out a data archaeology to infer books that are known to ChatGPT and GPT-4 using a name cloze membership inference query. We find that

了解本专栏 订阅专栏 解锁全文 超级会员免费看
CSPhD-winston-杨帆
关注
专栏目录
订阅专栏
AI推介-信息抽取（information extraction,NER）论文速览（arXiv方向）：2023.10.15-2023.11.15
小小帅
06-28 1154
命名实体识别（NER）在各种自然语言处理（NLP）应用中至关重要。传统的 NER 模型虽然有效，但仅限于一组预定义的实体类型。相比之下，大型语言模型（LLM）可以通过自然语言指令提取任意实体，具有更大的灵活性。然而，它们的规模和成本，尤其是通过像 ChatGPT 这样的应用程序接口进行访问时的规模和成本，使它们在资源有限的情况下变得不切实际。在本文中，我们介绍了一种经过训练的紧凑型 NER 模型，可以识别任何类型的实体。
-i https://pypi.tuna.tsinghua.edu.cn/simple
jhoojhooablido
08-14 3461
EMNLP 2018 | 从对话生成和文本风格转化看文本生成技术 NLP四大任务类型：分类、序列标注、文本匹配、文本生成 练习地址： https://github.com/FudanNLP/nlp-beginner https://www.zhihu.com/question/324189960 总结了NLP里的小方向并给出了任务语料以及最近的成果论文： https://papersw...
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.07.01-2024.07.05
小小帅
07-09 1433
大型语言模型（LLM）的幻觉问题极大地限制了其可靠性和可信度。人类有一种自我意识过程，能让我们在面对询问时识别出自己不知道的东西。受此启发，我们的论文研究了 LLM 能否在生成响应之前估计自己的幻觉风险。我们从训练数据源和 15 种不同的自然语言生成（NLG）任务（跨越 700 多个数据集）两方面广泛分析了 LLM 的内部机制。我们的实证分析揭示了两个关键见解：(1) LLM 的内部状态表明他们是否在训练数据中看到过查询；(2) LLM 的内部状态表明他们是否有可能对查询产生幻觉。
【论文阅读笔记|EMNLP2023】DemoSG: Demonstration-enhanced Schema-guided Generation for Low-resource Event Ext
@
01-04 1434
当前大多数事件抽取（EE）方法都专注于高资源场景，这需要大量的带注释数据，难以应用于低资源领域。为了更有效地应对有限资源下的EE问题，我们提出了增强演示引导生成（DemoSG）模型，它从两个方面为低资源EE提供了帮助：首先，我们提出了基于演示的EE学习范式，充分利用带注释的数据，将其转化为演示来展示提取过程，并帮助模型有效学习。其次，我们将EE作为一个由基于模式的提示引导的自然语言生成任务来进行建模，从而利用标签语义并促进低资源场景中的知识转移。
GPT-2 论文翻译
热门推荐
Learning
04-01 1万+
GPT-2 论文翻译 基本是机器翻译，也进行了基本的人工矫正，凑活看吧 原论文：《Language Models are Unsupervised Multitask Learners》 原论文地址：https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multita...
解决 Git 报错：GitHub - failed to connect to github 443
郭同学如是说
03-14 1223
造成这个情况的原因是，github被墙，因此为 git 设置代理地址即可解决 打开Git bash，输入： git config --global http.proxy 127.0.0.1:10080 其中，127.0.0.1是我的socks5代理服务器地址，10080是我的代理服务器的端口号，读者改成自己的代理配置即可 ...
CV计算机视觉每日开源代码Paper with code速览-2023.10.23
CV计算机视觉
10-25 813
8.【自动驾驶：多任务】LeTFuser: Light-weight End-to-end Transformer-Based Sensor Fusion for Autonomous Driving with Multi-Task Learning。7.【自动驾驶：BEV】EarlyBird: Early-Fusion for Multi-View Tracking in the Bird's Eye View。
BERT(一)--论文翻译：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
05-19 2012
文章目录 1 Introduction(简介)2 Related Work（相关工作）2.1 Feature-based Approaches（基于特征的方法）2.2 Fine-tuning Approaches （微调方法）2.3 Transfer Learning from Supervised Data（在有监督数据上的迁移学习）3 BERT3.1 Model Architecture（模型结构）3.2 Input Representation（输入表示）3.3 Pre-training Tasks.
Neural Machine Translation (seq2seq) Tutorial----from https://www.tensorflow.org/tutorials/seq2seq
雪夜归人
06-07 3421
Neural Machine Translation (seq2seq) Tutorialfrom https://www.tensorflow.org/tutorials/seq2seqAuthors: Thang Luong, Eugene Brevdo, Rui Zhao (Google Research Blogpost, Github)This version of the tutori...
玩转NLP论文实战图书馆----附论文地址和代码地址
Axiaotangshuju的博客
03-04 1982
一、文本生成概述 1、文本生成概述： https://www.jiqizhixin.com/articles/2017-05-22 任务包括：对话生成、摘要生成、机器翻译。 2、NLP综述：自然语言生成-NLG： https://zhuanlan.zhihu.com/p/85363175 3、清华NLP组年度巨献：机器翻译30年最重要论文阅读清单： https://blog.csdn.net/qq_27009517/article/details/86566987 二、评价指标： 1、文本生成1
PIE：使用BERT的快速+非自回归语法错误校正。 论文《本地序列转导的并行迭代编辑模型》的代码和预训练模型：www.aclweb.organthologyD19-1435.pdf（EMNLP-IJCNLP 2019）
02-03
伴随我们的论文《用于局部序列转导的并行迭代编辑模型》（EMNLP-IJCNLP 2019）附带的代码和预训练模型 我们介绍了PIE，一种基于BERT的体系结构，用于本地序列转导任务，如语法错误校正。 与将GEC建模为从“不正确”...
StackPropagation-SLU:EMNLP-19论文“具有令牌级意图检测以了解口语的堆栈传播框架”的开源代码
05-09
该存储库包含该论文的PyTorch实现：具有用于语音语言理解的令牌级意图检测的堆栈传播框架。 如果您在工作中使用任何源代码或此工具包中包含的数据集，请引用以下文章。 下面列出了bibtex： @article{qin2019stack, ...
论文翻译：EMNLP-2023.CCF-A.Alon Jacovi.Stop Uploading Test Data in Plain Text: Practical Strategies for
CSPhD-winston的博客
09-24 176
随着在大型自动抓取的语料库上预训练的模型的兴起，数据污染已经成为一个普遍且具有挑战性的问题。对于封闭模型来说，训练数据变成了商业机密，即使是开放模型，检测污染也并非易事。诸如带有隐藏答案的排行榜，或者使用保证未被见过的测试数据这类策略，成本高昂，并且随着时间的推移变得脆弱。假设所有相关方都重视干净的测试数据，并愿意合作以减轻数据污染，我们可以做什么？我们提出了三种可以产生影响的策略：（1）公开的测试数据应使用公钥加密，并授权禁止衍生分发；（2）
论文翻译：EMNLP-2023 CCF-B Multi-step Jailbreaking Privacy Attacks on ChatGPT
CSPhD-winston的博客
08-23 935
随着大型语言模型（LLMs）的快速发展，许多下游自然语言处理（NLP）任务在适当的提示下可以得到很好的解决。尽管模型开发者和研究人员努力提高对话安全性，以避免从LLMs生成有害内容，但仍然很难确保人工智能生成的内容（AIGC）用于人类的利益。由于强大的LLMs正在吞噬来自各个领域的现有文本数据（例如，GPT-3是在45TB文本上训练的），很自然地会怀疑训练数据中是否包含了私人信息，以及这些LLMs及其下游应用可能带来哪些隐私威胁。
【GPT】对低阶版本的GPT探测：文学
最新发布
清风浅醉
09-30 528
对GPT的探测：文学
vue仿chatGpt的AI聊天功能--大模型通义千问（阿里云）
m0_74079648的博客
09-27 1145
通义千问是由阿里云自主研发的大语言模型，用于理解和分析的自然语言。
ChatGPT高级语音助手正式上线！OpenAI：50多种语言、9种声线可选
u010291330的博客
09-25 556
在首次向公众展示的四个月后，OpenAI终于要面向其所有付费用户开放ChatGPT的类人高级人工智能（AI）语音助手功能——“高级语音模式”（Advanced Voice Mode，以下简称AVM）。不过，新的语音模式缺少5月OpenAI展示过的不少功能，比如计算机视觉功能。根据OpenAI在X上发布的一段视频，用户要求语音助手表达，由于让奶奶久等了，向奶奶致歉。②所有付费订阅ChatGPT Plus和Team计划的用户，都将可以使用新的AVM功能，不过该模式将在未来几天逐步推出。
chatgpt用于数据分析的弊端
一个爱摸鱼的程序员
09-27 363
ChatGPT近两年来十分受欢迎，它理解和生成文本的能力非常出色，带来了很多新的机会。用chatgpt进行数据分析在我看来是既有前景又具有挑战。
yaml配置文件的路径为"C:\Users\shi'wei\Desktop\nlp顶会\2021.emnlp-main.22\SCAPT-ABSA-master\config\amazon_BERT_pretrain.yml"，应该如何添加
10-20
您可以在您的代码中使用以下语句来加载yaml配置文件： ```python import yaml with open(r'C:\Users\shi\'wei\Desktop\nlp顶会\2021.emnlp-main.22\SCAPT-ABSA-master\config\amazon_BERT_pretrain.yml', 'r') as f: config = yaml.safe_load(f) ``` 这将打开yaml文件并将其加载到Python字典中，您可以使用该字典来访问配置文件中的值。请注意，由于路径中包含反斜杠，因此需要在路径前面加上“r”以避免出现转义字符。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值