论文翻译：ICLR-2024.Oren.PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

已于 2024-09-29 14:44:54 修改
阅读量1.3k 收藏 17
点赞数 14
分类专栏： LLMs-数据污染 论文翻译 文章标签： 语言模型 人工智能 自然语言处理
于 2024-09-07 20:11:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WhiffeYF/article/details/142001436
版权

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

Oren等人交换了一些基准测试中问题的顺序，并用生成新数据的方式测试模型，作为检测数据泄露的一种方法。 来自：论文翻译：arxiv-2024 Training on the Benchmark Is Not All You Need

https://openreview.net/forum?id=KS8mIvetg2

验证测试集污染在黑盒语言模型中

文章目录

摘要

大型语言模型是在大量互联网数据上训练的，这引发了人们的担忧和猜测，即它们可能已经记住了公共基准测试。从猜测到证明污染的存在是具有挑战性的，因为专有模型使用的预训练数据通常并不公开。我们展示了一种方法，可以在不访问预训练数据或模型权重的情况下，为语言模型提供可证明的测试集污染保证。我们的方法利用了一个事实，即如果没有数据污染，所有可交换基准测试的排序都应该同样可能。相比之下，语言模型倾向于记忆示例顺序，这

了解本专栏 订阅专栏 解锁全文 超级会员免费看
论文翻译：arxiv-2024.Xu.Benchmarking Benchmark Leakage in Large Language Models
CSPhD-winston的博客
09-07 1260
随着预训练数据使用的不断扩大，基准数据集泄露现象变得越来越突出，这种情况因大型语言模型（LLMs）训练过程的不透明性以及监督数据的经常未披露的包含而加剧。这个问题扭曲了基准测试的有效性，并促进了可能不公平的比较，阻碍了该领域的健康发展。为了解决这个问题，我们引入了一个利用困惑度和N-gram准确性这两个简单且可扩展的指标来衡量模型在基准测试上的预测精度的检测流程，以识别潜在的数据泄露。通过在数学推理的背景下分析31个LLMs，我们揭示了大量的训练甚至测试集误用的情况，导致可能不公平的比较。
大模型测试集作弊？ICLR论文将leak一网打尽！
Kaiyuan_sjtu的博客
05-18 120
如果你拿一些题库的输入去推大模型的base模型话，会发现他们经常一股脑就把训练过的题库吐露出来了，比如早前大家在百川上讨论过的：目前数据提供商最值钱的数据就是题库了，国内大模型很懂得投机取巧，反正你是知识类客观题评测，我把全网的题库数据都塞进去。实在买不到买不全的数据，我还可以用测试集的每一道题目去反向爬取互联网相关内容，爬不到原题也能找到差不多的数据，再把他们都塞进去，针对性刷题。这就是离线测试...
论文翻译：arxiv-2024 Training on the Benchmark Is Not All You Need
CSPhD-winston的博客
09-14 1123
Training on the Benchmark Is Not All You Need https://arxiv.org/pdf/2409.01790 标题：基准测试并非你所需的全部 摘要： 大型语言模型（LLMs）的成功在很大程度上依赖于在预训练阶段学习的大量预训练数据。预训练过程的不透明性和训练数据使得许多基准测试的结果变得不可靠。如果任何模型在基准测试集上进行过训练，它将严重阻碍该领域的健康发展。为了自动化和高效地测试大型语言模型的能力，众多主流基准测试采用了多项选择格式。由于多项选择选项内容的
深度｜ICLR 2024最佳论文合辑：AI基准测试，推理，和Agent
人工智能曾小健
07-23 776
适用于长HTML文档，采用局部和全局注意力机制以及长跨度去噪目标的混合，用于规划和总结。我们通过实验证明，我们的模块化方法将真实网站的成功率提高了50%以上，并且HTML-T5是解决各种HTML理解任务的最佳模型。在MiniWoB网页自动化基准测试中，其成功率比之前的方法高出18.7%，在Mind2Web这一离线任务规划评估中也达到了最新的性能水平。我们介绍了 MetaGPT，一个创新的元编程框架，将高效的人类工作流程整合到基于大型语言模型的multi-agent协作中。
论文笔记：Time-LLM: Time Series Forecasting by Reprogramming Large Language Models
qq_40206371的博客
04-21 943
iclr 2024 reviewer 评分 3888。
[ICLR 2024] On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes
连理o的博客
08-04 972
[ICLR 2024] On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes
lora:low-rank adaption of large language models
liguandong
03-10 2709
根据之前的一些工作，发现大模型其实是过参数化的， 有更小的一个内在维度，于是文章做了一个假设，模型在任务适配过程中，参数的改变量是低秩的，在训练过程中，lora单独去学习这个改变量，而不是去学习模型的参数，通过把最终训练得到的参数分解为原参数W0和该变量deltaW进行相加，论文假设deltaW是低秩的，把deltaW进一步拆分为低秩矩阵A和低秩矩阵B，如图1所示，而在推理的过程中，由于模型参数已经固定不再变动，这时候把模型的改变量直接放到模型里，这样在推理的计算过程中，就避免了一次额外的矩阵乘法开销。
【论文笔记】LoRA LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
Yulki的博客
06-20 2196
随着模型越来越大，全量微调变得越来越不可行。作者提出了低秩适配器（LoRA），它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入到 Transformer 架构的每一层中，大大减少了下游任务的可训练参数的数量。在GPT-3 175B使用Adam上，与全量微调相比，LoRA减少了10，000倍参数量，减少了3倍GPU内存消耗。🧐与Adapter相比，没有额外的推理延迟下面是对语言建模问题的简要描述，特别是在给定特定任务提示的情况下条件概率的最大化。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.05.20-2024.05.25
小小帅
05-29 1765
像 GPT-4 这样的大型语言模型（LLM）已经彻底改变了自然语言处理，显示出卓越的语言能力和推理能力。然而，它们在多机器人战略决策环境中的应用却受到严重的限制，包括数学推理能力差、难以遵循指令以及容易生成错误信息。这些缺陷阻碍了它们在战略和交互任务中的表现，因为这些任务要求遵守微妙的游戏规则、进行长期规划、在未知环境中探索以及预测对手的行动。为了克服这些障碍，本文提出了一个新颖的 LLM 代理框架，该框架配备了记忆和专门工具，可增强代理的战略决策能力。
ICLR-2019-Oral.zip
10-09
ICLR是Yann LeCun 、Yoshua Bengio 等几位行业顶级专家于2013年发起，如今已成为深度学习领域一个至关重要的学术盛事，每年一届，每届包括24篇Oral论文以及诺干Poster论文。
iclr-2021-baynne:ICLR 2021深度学习仿真研讨会论文
04-06
iclr-2021-Baynne ICLR 2021仿真深度学习研讨会论文。 档案文件 main.py：主文件，设置超参数，执行训练，保存模型检查点等 BNN.py：异方差神经网络的类定义 gaussian_nll_loss_class.py：高斯负对数似然损失 ...
论文翻译：ICLR-2024.Shahriar Golchin.TIME TRAVEL IN LLMS: TRACING DATA CONTAMINATION IN LARGE LANGUAGE
CSPhD-winston的博客
09-07 976
数据污染，即在大型语言模型（LLMs）的训练数据中存在下游任务的测试数据，是衡量LLMs在其他任务上真实有效性的潜在重大问题。我们提出了一种简单但有效的识别LLMs中数据污染的方法。我们的方法核心是从实例级别开始识别潜在污染；利用这些信息，我们的方法接着在分区级别评估更广泛的污染。为了估计单个实例的污染，我们采用了“引导指令”：一个提示，包括数据集名称、分区类型和参考实例的随机长度初始片段，要求LLM完成它。如果LLM的输出与参考的后半部分完全或几乎匹配，则将该实例标记为污染。为了理解整个分区是否受到污染。
论文翻译：ICLR-2024.Kaijie Zhu.DYVAL: DYNAMIC EVALUATION OF LARGE LANGUAGE MODELS FOR REASONING TASKS
CSPhD-winston的博客
09-07 665
大型语言模型（LLMs）在各种评估基准测试中取得了显著的性能。然而，人们对于其庞大的训练语料库中潜在的数据污染问题表示担忧。此外，当前基准测试的静态性质和固定复杂性可能无法充分衡量LLMs不断进步的能力。在本文中，我们介绍了DYVAL，这是一个用于动态评估LLMs的通用且灵活的协议。基于我们的框架，我们构建了图信息DYVAL，利用有向无环图的结构优势来动态生成具有可控复杂性的评估样本。DYVAL在包括数学、逻辑推理和算法问题在内的推理任务上生成了具有挑战性的评估集。
基于Keras的U-Net模型在图像分割与计数中的应用
深度学习实战训练营，一起交流探索深度学习
10-04 1628
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
最新发布
阿利同学的博客
10-07 1262
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
北大对齐团队深度硬核解读：OpenAI o1开启「后训练」时代强化学习新范式
ys707663989的博客
10-06 2197
本文深入探讨了OpenAI o1的技术细节、的实现、合成数据与推理搜索的优化，以及AI安全的新启示，展示了大语言模型在推理能力提升和安全对齐方面的最新进展与未来方向。
树莓派外挂Camera4（pipeline）
fanged的专栏
10-03 721
现在说起Pipeline都有点迷糊了，很多都是这个概念。GStreamer里面有，相机里面有，然后还有别的地方也有。pipeline本身其实没什么特殊的，简单理解就是一段处理。晚上查了一下，确实这几个地方都叫pipeline，然后树莓派还有个自己的Post-processing，也就是后处理。今天主要说camera的和Post-processing的。
cGANs与投影判别器：ICLR2018论文摘要
这篇论文是2018年在ICLR（国际学习表征会议）上发表的，主要探讨了一种新的条件生成对抗网络（Conditional Generative Adversarial Networks, cGANs）的投影判别器（Projection Discriminator）方法。cGANs是一种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值