Investigating the Impact of Data Contamination of Large Language Models in Text-to-SQL Translation

828 篇文章

已下架不支持订阅

本文研究了数据污染对GPT3.5在文本到SQL转换任务中的影响,发现GPT-3.5在不熟悉的Termite数据集上性能显著下降,揭示了数据污染可能导致高估LLM的性能。实验表明,GPT-3.5对Spider数据集有先验知识,而在新数据集上表现不佳,强调了数据污染问题。对抗性表断开连接的分析显示,其对不同数据集的影响不同。建议需要更全面地重新评估零样本场景下LLM的基准,并开发不受预训练影响的新数据集。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《Investigating the Impact of Data Contamination of Large Language Models in Text-to-SQL Translation》的翻译。

摘要

理解文本描述以生成代码似乎是在零样本场景中实现的指令-遵循大型语言模型(LLM)的能力。然而,这种翻译能力极有可能受到看到目标文本描述和相关代码的影响。这种影响被称为数据污染。
在这项研究中,我们研究了数据污染对GPT3.5在文本到SQL代码生成任务中的性能的影响。因此,我们引入了一种新的方法来检测GPT中的数据污染,并使用已知的Spider数据集和我们新的不熟悉的数据集Termite来检查GPT-3.5的文本到SQL的性能。此外,我们通过对抗性表断开连接(ATD)方法分析了GPT-3.5对具有修改信息的数据库的有效性,通过从数据库中删除结构信息使Textto SQL任务复杂化。我们的结果表明,即使对ATD进行了修改,GPT-3.5在不熟悉的Termite数据集上的性能也会显著下降,这突出了数据污染对文本到SQL翻译任务中LLM的影响。

1 引言

2 背景

3 Text-to-SQL数据集

4

已下架不支持订阅

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值