任务型对话鲁棒性检测论文《Robustness Testing of Language Understanding in Task-Oriented Dialog》

最新推荐文章于 2024-12-28 11:42:53 发布
最新推荐文章于 2024-12-28 11:42:53 发布
阅读量321 收藏 1
点赞数
文章标签： nlp 机器学习 深度学习 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44487404/article/details/118668867
版权
论文探讨了任务导向对话中语言理解（NLU）的鲁棒性测试，强调现实生活的噪声、口语表达和多样性对NLU的影响。通过单词干扰、GPT文本替换、口语识别和不流畅性四种方式增强数据，评估五种模型的鲁棒性，通过drop值分析提升程度。
摘要由CSDN通过智能技术生成

论文分享《Robustness Testing of Language Understanding in Task-Oriented Dialog》

a.研究背景：

现阶段的NLU达到的效果都来源于质量很高的训练集，但是现实生活中存在的噪声/口语表达/话语多样性等情况都会影响最后的NLU结果。因此对于NLU鲁棒性的考察尤为必要。

b.研究方法

作者从三个方面定义LU鲁棒性：1）语言多样性；2）口语特征；3）噪声干扰
为了模拟这三种情况，通过四种方式对原始数据进行增强：

（1）单词干扰：token级别的噪音加入

在这里插入图片描述

   一种是无关词汇的替换/添加/换位/删除，意图label不变；
   另一种是slot词汇替换，slot类型不变
（2）文本释义：用gpt去进行文本替换

在这里插入图片描述

     分为文本是否有省略。如
最低0.47元/天 解锁文章
曾阿牛nlper
关注
RAG技术全栈进化解析：RAG技术升级、评估度量指标、应用场景、生态总结、落地实践问题解决、垂直场景应用、多模态RAG探索(✨)
丨汀、的博客
09-04 1183
RAG技术全栈进化解析：RAG技术升级、评估度量指标、应用场景、生态总结、落地实践问题解决、垂直场景应用、多模态RAG探索(✨)
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
【任务型对话系统】Database Search Results Disambiguation for Task-Oriented Dialog Systems
Baigker的博客
12-22 1029
链接：https://arxiv.org/pdf/2112.08351.pdf 简介 在任务型对话系统（task-oriented dialog systems）中，有时我们会遇到这样一个问题： 对于用户的一个提问或要求，我们可以从数据库中找到多个可能的答案，无法做出决断。 比方说下图： 无论是订宾馆、订酒店，还是买衣服，这种情况在生活中很常见。 我们将这种情况称为数据库搜索结果歧义（ database search result ambiguity），简称DSR-ambiguity。 我们通常说的歧
【Mo 人工智能技术博客】联邦学习鲁棒性及相关论文分享
Mo 的博客
12-15 2665
【技术博客】联邦学习鲁棒性及相关论文分享 叶寅 1 背景知识 联邦学习系统比较容易受到各种错误的影响。这些错误包括一些非恶意性错误（比如预处理流程中的漏洞、噪音过强的训练标签和不可靠的用户），还包括一些旨在破坏系统训练过程和部署流程的显式攻击。这些非恶意性错误和显式攻击的影响，都可能会使系统的鲁棒性难以实现。这里我们主要讨论后者，也就是显示攻击：破坏联邦学习鲁棒性的攻击方，试图以一种对模型不利的方式修改来模型行为。根据攻击目标的不同，可以分为：1、无目标攻击，这类攻击的目标是降低模型的全局精度或全面“摧毁”
自然语言理解（NLU）难在哪儿？
给我一点温度
02-24 1939
文章作者：刘知远 清华大学 副教授 自然语言理解本质是结构预测 要搞清楚自然语言理解难在哪儿，先看自然语言理解任务的本质是什么。作为人工智能关注的三大信息类型（语音、视觉、语言）之一，自然语言文本是典型的无结构数据，由语言符号（如汉字）序列构成。要实现对自然语言的表意的理解，需要建立对该无结构文本背后的语义结构的预测。因此，自然语言理解的众多任务，包括并不限于中文分词、词性标注、命名实体识...
干货！任务型对话中语言理解的鲁棒性测试 |清华刘劼西
AITIME_HY的博客
09-15 1452
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！本期AI TIME PhD直播间，我们邀请到了清华大学计算机科学与技术系的硕士生——刘劼西，带来分享——《任务型对话中语言理解的鲁...
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
头部AI社区或平台如有邀请博主AI技术主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
【论文笔记】A Survey on In-context Learning
jinniulema的博客
10-08 2843
随着大模型能力的增强，上下文学习（In-context learning, ICL）已成为自然语言处理的新范式，其中LLM仅仅基于添加了几个示例的上下文进行预测。探索ICL来评估和推断LLM的能力已经成为一种新的趋势。本文旨在调查和总结ICL的进展和挑战。首先给出了ICL 的正式定义，并阐明了它和相关研究的相关性。然后，组织并讨论了先进的技术，包括训练策略，演示设计策略以及相关分析。最后，讨论了ICL面临的挑战，并为进一步研究提供了潜在的方向。
【ACL2022】有关dialogue论文的汇总
qq_42489503的博客
04-14 1914
加粗的论文是有关于任务型对话系统的，部分统计，还有不全的地方 主会 Long paper Achieving Conversational Goals with Unsupervised Post-hoc Knowledge Injection Achieving Reliable Human Assessment of Open-Domain Dialogue Systems An Interpretable Neuro-Symbolic Reasoning Framework for Task-Ori
Transformer-based模型的综述：AMMUS : A Survey of Transformer-based Pretrained Models in NLP
tagagi的博客
11-01 3610
论文地址： https://arxiv.org/abs/2108.05542 1 导言 预训练的来源 最开始是基于规则的学习，后来被机器学习取代 早期机器学习需要特征工程，需要专业领域的知识，耗时 由于硬件和词嵌入的发展，类似于CNN、RNN的深度学习模型出现 问题：除词嵌入外需要从头开始训练模型、需要标记大量实例、成本很高 进而我们期望少量标记实例，尽可能少的训练步数 基于迁移学习（允许重用在源任务中学到的知识，以便在目标任务中很好地执行）的启发： 使用大规模标...
【笔记1-4】陈丹琦毕业论文 NEURAL READING COMPREHENSION AND BEYOND
cindy_1102的博客
03-23 6126
【updating】NEURAL READING COMPREHENSION AND BEYOND1. 论文简介（一）神经阅读理解：基础2. 阅读理解回顾2.1 机器阅读理解历史2.2 任务定义2.3 阅读理解 vs. 问答2.4 数据集和模型3. 神经阅读理解模型3.1 以往的方法：基于特征的模型3.2 神经网络方法：Stanford Attentive Reader3.3 实验3.4 最新进展...
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8982
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
Yolo算法中特征相似导致误报问题
qq_65356682的博客
12-24 393
训练目标检测时会碰到一种很奇怪的问题，明明两种目标有很大的差别但是却会被误识别，从而产生大量的误报，这种不利于生产。其实解决办法也很简单就是一起参与训练从而避免这种问题。训练教程可以看我的系列专栏，里面有你想要的下面开始我们的教程。
机器学习和深度学习中的种子设置
gqrblnp的博客
12-25 865
机器学习和深度学习中的种子设置
Python实现机器学习驱动的智能医疗预测模型系统的示例代码框架
huanghm88的专栏
12-25 511
以下是一个使用Python实现机器学习驱动的智能医疗预测模型系统的示例代码框架。这个框架涵盖了数据收集（爬虫）、数据清洗和预处理、模型构建（决策树和神经网络）以及模型评估的主要步骤。
100V宽压输入反激隔离电源，适用于N道沟MOSFET或GaN或5V栅极驱动器，无需光耦合
szpc1621的博客
12-25 254
PC4411具有欠压锁定（UVLO）功能)短路保护（SCP）及以上温度保护（OTP）以帮助设备安全可靠地运行。是一个隔离的反激式控制器在宽输入电压下具有高效率范围为2.7V至100V。它直接测量初级侧反激输出电压波形，不需要光耦合器或第三方用于调节的绕组。PC4411提供5V栅极驱动驱动外部N沟道MOSFET的电压或。•用于N沟道MOSFET或GaN的5V栅极驱动电压的栅极驱动器。•无光耦合器或第三绕组VOUT调节所需的变压器。•2.7V至100V的宽输入电压范围。•轻载模式下的高效率（DCM）
优化程序中的数据：从代数到向量解
2301_77061352的博客
12-24 619
在前文笔者简单介绍了把数据迭代抽象为线性代数，并介绍了空间体、维度等概念。
什么是机器学习
最新发布
weixin_40763897的博客
12-28 183
模型优化过程也是必须的，在这个模型能够拿来用之前，必须完成这个过程，这个过程利用训练数据集中的数据点，通过不断读取数据点，评估预测值与实际值的差距，不断调整权重，将函数的输入和输出值，尽可能符合训练集中的映射关系，这就是所谓的拟合。要一个模型百分百预测正确，其实是很困难的，随着训练数据集越大，拟合过程就越久，因为要不断的评估与优化，每一次权重的调整都可能会影响前面的数据点。旨在使机器或计算机像人一样学习，通过让其接触更多的数据，以期其能够自动执行任务，提高其性能和准确性。
Dense-YOLOv3模型：提升车型检测精度与鲁棒性
本文介绍了一种改进的车辆检测模型——Dense-YOLOv3，该模型针对传统YOLOv3在处理异常光照条件（如曝光过度或光线较暗）下特征提取鲁棒性不足，导致车型识别率下降的问题进行了优化。Dense-YOLOv3模型融合了DenseNet...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>