论文翻译：EMNLP-2023.CCF-A.Alon Jacovi.Stop Uploading Test Data in Plain Text: Practical Strategies for

已于 2024-09-27 15:53:24 修改
阅读量180 收藏
点赞数
分类专栏： 论文翻译（不要订阅，我要改成免费的） LLMs-数据污染 文章标签： 人工智能
于 2024-09-24 10:27:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WhiffeYF/article/details/142482769
版权

Stop Uploading Test Data in Plain Text: Practical Strategies for Mitigating Data Contamination by Evaluation Benchmarks
https://arxiv.org/pdf/2305.10160

停止上传明文测试数据：实用的策略以减轻评估基准造成的数据污染

文章目录


在这里插入图片描述

摘要

随着在大型自动抓取的语料库上预训练的模型的兴起，数据污染已经成为一个普遍且具有挑战性的问题。对于封闭模型来说，训练数据变成了商业机密，即使是开放模型，检测污染也并非易事。诸如带有隐藏答案的排行榜，或者使用保证未被见过的测试数据这类策略，成本高昂，并且随着时间的推移变得脆弱。假设所有相关方都重视干净的测试数据，并愿意合作以减轻数据污染，我们可以做什么？我们提出了三种可以产生影响的策略：（1）公开的测试数据应使用公钥加密&#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
CSPhD-winston-杨帆
关注
专栏目录
订阅专栏
AI推介-信息抽取（information extraction,NER）论文速览（arXiv方向）：2023.10.15-2023.11.15
小小帅
06-28 1154
命名实体识别（NER）在各种自然语言处理（NLP）应用中至关重要。传统的 NER 模型虽然有效，但仅限于一组预定义的实体类型。相比之下，大型语言模型（LLM）可以通过自然语言指令提取任意实体，具有更大的灵活性。然而，它们的规模和成本，尤其是通过像 ChatGPT 这样的应用程序接口进行访问时的规模和成本，使它们在资源有限的情况下变得不切实际。在本文中，我们介绍了一种经过训练的紧凑型 NER 模型，可以识别任何类型的实体。
【论文阅读笔记|EMNLP2023】DemoSG: Demonstration-enhanced Schema-guided Generation for Low-resource Event Ext
@
01-04 1434
当前大多数事件抽取（EE）方法都专注于高资源场景，这需要大量的带注释数据，难以应用于低资源领域。为了更有效地应对有限资源下的EE问题，我们提出了增强演示引导生成（DemoSG）模型，它从两个方面为低资源EE提供了帮助：首先，我们提出了基于演示的EE学习范式，充分利用带注释的数据，将其转化为演示来展示提取过程，并帮助模型有效学习。其次，我们将EE作为一个由基于模式的提示引导的自然语言生成任务来进行建模，从而利用标签语义并促进低资源场景中的知识转移。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.07.01-2024.07.05
小小帅
07-09 1433
大型语言模型（LLM）的幻觉问题极大地限制了其可靠性和可信度。人类有一种自我意识过程，能让我们在面对询问时识别出自己不知道的东西。受此启发，我们的论文研究了 LLM 能否在生成响应之前估计自己的幻觉风险。我们从训练数据源和 15 种不同的自然语言生成（NLG）任务（跨越 700 多个数据集）两方面广泛分析了 LLM 的内部机制。我们的实证分析揭示了两个关键见解：(1) LLM 的内部状态表明他们是否在训练数据中看到过查询；(2) LLM 的内部状态表明他们是否有可能对查询产生幻觉。
论文笔记：Retrieval-Augmented Generation forAI-Generated Content: A Survey
qq_40206371的博客
03-27 1747
北大202402的RAG综述。
[论文解读]All in one：: Multi-Task Prompting for Graph Neural Networks图神经网络的多任务提示
人工智能曾小健
02-26 1188
这个函数可能是对提示图参数进行操作的某种计算，比如根据这些参数生成新的节点表示，或者更新模型的状态以适应新任务。在不同的上下文中，函数 f(θ) 可以有不同的具体含义，它通常会涉及到如何使用这些参数来影响模型的行为或其对数据的处理方式。不过，由于我无法直接查看PDF文件的内容，所以这里的解释是基于常见的机器学习和深度学习术语的一般性解释。提示图是一种用于调整预训练模型以适应特定任务的结构，这些参数可能包括用于构造提示的节点和边的权重，或者其他用于定义提示图结构的属性。与原始图 G 结合后的新表达式。
BERT(一)--论文翻译：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
05-19 2012
文章目录 1 Introduction(简介)2 Related Work（相关工作）2.1 Feature-based Approaches（基于特征的方法）2.2 Fine-tuning Approaches （微调方法）2.3 Transfer Learning from Supervised Data（在有监督数据上的迁移学习）3 BERT3.1 Model Architecture（模型结构）3.2 Input Representation（输入表示）3.3 Pre-training Tasks.
论文1：EMNLP2019-Aspect-based Sentiment Classification with Aspect-specific Graph
迷茫的旅行者
02-14 1321
EMNLP2019-Aspect-based Sentiment Classification with Aspect-specific Graph 一. 研究过程 1.神经网络（2014-2015） 2.RNNs+attention（2016-2018） 3.虽然基于atteniton的模型很有前途，但它们不足以捕捉上下文单词和句子中的方面之间的句法依赖关系，之后有人对注意权重施加一些句法限制（2018），但是句法结构的效果没有被充分利用。 4.除了注意力模型，CNNs被用来发现用于一个方面的描述性多词
CV计算机视觉每日开源代码Paper with code速览-2023.10.23
CV计算机视觉
10-25 813
8.【自动驾驶：多任务】LeTFuser: Light-weight End-to-end Transformer-Based Sensor Fusion for Autonomous Driving with Multi-Task Learning。7.【自动驾驶：BEV】EarlyBird: Early-Fusion for Multi-View Tracking in the Bird's Eye View。
《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》论文翻译--中英对照
06-02 6033
Abstract We introduce a new language representa- tion model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters ...
跨模态检索最新高质量综述《Image-text Retrieval: A Survey on Recent Research and Development》
zag666的博客
06-17 7920
本文从四个方面对ITR方法进行了全面和最新的调查。通过将ITR系统剖析为两个过程：特征提取和特征对齐，我们从这两个角度总结了ITR方法的最新进展。在此基础上，对ITR系统的效率研究作为第三个角度进行了介绍。为了与时俱进，我们还从第四个角度对跨模态预训练的ITR方法进行了开创性的概述。最后，我们概述了ITR的通用基准数据集和评估指标，并对有代表性的ITR方法进行了准确性比较。本文最后还讨论了一些关键但研究不多的问题。
StackPropagation-SLU:EMNLP-19论文“具有令牌级意图检测以了解口语的堆栈传播框架”的开源代码
05-09
title={A Stack-Propagation Framework with Token-Level Intent Detection for Spoken Language Understanding}, author={Qin, Libo and Che, Wanxiang and Li, Yangming and Wen, Haoyang and Liu, Ting}, ...
PIE：使用BERT的快速+非自回归语法错误校正。 论文《本地序列转导的并行迭代编辑模型》的代码和预训练模型：www.aclweb.organthologyD19-1435.pdf（EMNLP-IJCNLP 2019）
02-03
伴随我们的论文《用于局部序列转导的并行迭代编辑模型》（EMNLP-IJCNLP 2019）附带的代码和预训练模型 我们介绍了PIE，一种基于BERT的体系结构，用于本地序列转导任务，如语法错误校正。 与将GEC建模为从“不正确”...
论文翻译：EMNLP-2023.CCF-B.Kent K. Chang.Speak, Memory: An Archaeology of Books Known to ChatGPT/GPT-4
CSPhD-winston的博客
09-23 62
在这项工作中，我们进行了数据考古学研究，通过使用名称填空成员推断查询来推断ChatGPT和GPT-4所知的书籍。我们发现，OpenAI模型已经记住了大量受版权保护的材料，记忆的程度与这些书籍的段落在网络出现的频率有关。这些模型对未知书籍集的记忆能力，使得文化分析的测量有效性评估变得复杂，因为它们污染了测试数据；我们表明，对于下游任务，模型在记忆书籍上的表现远胜于非记忆书籍。我们认为，这支持了开放模型的理由，即其训练数据是已知的。
论文翻译：EMNLP-2023 CCF-B Multi-step Jailbreaking Privacy Attacks on ChatGPT
CSPhD-winston的博客
08-23 935
随着大型语言模型（LLMs）的快速发展，许多下游自然语言处理（NLP）任务在适当的提示下可以得到很好的解决。尽管模型开发者和研究人员努力提高对话安全性，以避免从LLMs生成有害内容，但仍然很难确保人工智能生成的内容（AIGC）用于人类的利益。由于强大的LLMs正在吞噬来自各个领域的现有文本数据（例如，GPT-3是在45TB文本上训练的），很自然地会怀疑训练数据中是否包含了私人信息，以及这些LLMs及其下游应用可能带来哪些隐私威胁。
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
m0_52911108的博客
09-27 1150
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟
rjszcb的博客
09-30 453
上一份工作是2022,11—2023，11年底，汽车公司，底层修修改改，编译镜像，修改后，客户给东西，重新编译给他，客制化配置启动参数，环境，支持应用部门，不懂怎么使用某些驱动。uboot到底是干嘛的，想想，emmc的镜像文件是怎么被读到ddr的，emmc为啥可以被分区，烧录镜像，tftp网络命令为啥可以运行，启动设备时，为啥lcd可以看到图像，kernel还没启动，怎么出图像的。不管做应用开发，驱动开发也好，知道，系统原理，驱动框架，进程管理调度，内核竞争，信号，中断，锁，这些就够了。
Python精选200Tips：171-175
AnFany
09-26 1235
Python深度学习的项目
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
最新发布
GIS潮流
09-30 618
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值