任务型对话鲁棒性检测论文《Robustness Testing of Language Understanding in Task-Oriented Dialog》

最新推荐文章于 2024-08-30 12:54:54 发布
最新推荐文章于 2024-08-30 12:54:54 发布
阅读量295 收藏 1
点赞数
文章标签： nlp 机器学习 深度学习 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44487404/article/details/118668867
版权
论文探讨了任务导向对话中语言理解（NLU）的鲁棒性测试，强调现实生活的噪声、口语表达和多样性对NLU的影响。通过单词干扰、GPT文本替换、口语识别和不流畅性四种方式增强数据，评估五种模型的鲁棒性，通过drop值分析提升程度。
摘要由CSDN通过智能技术生成

论文分享《Robustness Testing of Language Understanding in Task-Oriented Dialog》

a.研究背景：

现阶段的NLU达到的效果都来源于质量很高的训练集，但是现实生活中存在的噪声/口语表达/话语多样性等情况都会影响最后的NLU结果。因此对于NLU鲁棒性的考察尤为必要。

b.研究方法

作者从三个方面定义LU鲁棒性：1）语言多样性；2）口语特征；3）噪声干扰
为了模拟这三种情况，通过四种方式对原始数据进行增强：

（1）单词干扰：token级别的噪音加入

在这里插入图片描述

   一种是无关词汇的替换/添加/换位/删除，意图label不变；
   另一种是slot词汇替换，slot类型不变
（2）文本释义：用gpt去进行文本替换

在这里插入图片描述

     分为文本是否有省略。如
最低0.47元/天 解锁文章
曾阿牛nlper
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【第十章 鲁棒性检查 上】静态时序分析圣经翻译计划
qq_31515205的博客
01-15 841
本文由知乎赵俊军授权转载，知乎主页为https://www.zhihu.com/people/zhao-jun-jun-19 本章节将介绍特殊的STA分析，例如时间借用(time borrowing)、时钟门控(clock gating)和非时序(non-sequential)检查。此外，还介绍了高级STA概念，例如片上变化(on-chip variation)、统计时序(stat...
【任务型对话系统】Database Search Results Disambiguation for Task-Oriented Dialog Systems
Baigker的博客
12-22 959
链接：https://arxiv.org/pdf/2112.08351.pdf 简介 在任务型对话系统（task-oriented dialog systems）中，有时我们会遇到这样一个问题： 对于用户的一个提问或要求，我们可以从数据库中找到多个可能的答案，无法做出决断。 比方说下图： 无论是订宾馆、订酒店，还是买衣服，这种情况在生活中很常见。 我们将这种情况称为数据库搜索结果歧义（ database search result ambiguity），简称DSR-ambiguity。 我们通常说的歧
自然语言理解（NLU）难在哪儿？
给我一点温度
02-24 1911
文章作者：刘知远 清华大学 副教授 自然语言理解本质是结构预测 要搞清楚自然语言理解难在哪儿，先看自然语言理解任务的本质是什么。作为人工智能关注的三大信息类型（语音、视觉、语言）之一，自然语言文本是典型的无结构数据，由语言符号（如汉字）序列构成。要实现对自然语言的表意的理解，需要建立对该无结构文本背后的语义结构的预测。因此，自然语言理解的众多任务，包括并不限于中文分词、词性标注、命名实体识...
【Mo 人工智能技术博客】联邦学习鲁棒性及相关论文分享
Mo 的博客
12-15 2567
【技术博客】联邦学习鲁棒性及相关论文分享 叶寅 1 背景知识 联邦学习系统比较容易受到各种错误的影响。这些错误包括一些非恶意性错误（比如预处理流程中的漏洞、噪音过强的训练标签和不可靠的用户），还包括一些旨在破坏系统训练过程和部署流程的显式攻击。这些非恶意性错误和显式攻击的影响，都可能会使系统的鲁棒性难以实现。这里我们主要讨论后者，也就是显示攻击：破坏联邦学习鲁棒性的攻击方，试图以一种对模型不利的方式修改来模型行为。根据攻击目标的不同，可以分为：1、无目标攻击，这类攻击的目标是降低模型的全局精度或全面“摧毁”
干货！任务型对话中语言理解的鲁棒性测试 |清华刘劼西
AITIME_HY的博客
09-15 1391
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！本期AI TIME PhD直播间，我们邀请到了清华大学计算机科学与技术系的硕士生——刘劼西，带来分享——《任务型对话中语言理解的鲁...
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
【论文笔记】A Survey on In-context Learning
jinniulema的博客
10-08 2116
随着大模型能力的增强，上下文学习（In-context learning, ICL）已成为自然语言处理的新范式，其中LLM仅仅基于添加了几个示例的上下文进行预测。探索ICL来评估和推断LLM的能力已经成为一种新的趋势。本文旨在调查和总结ICL的进展和挑战。首先给出了ICL 的正式定义，并阐明了它和相关研究的相关性。然后，组织并讨论了先进的技术，包括训练策略，演示设计策略以及相关分析。最后，讨论了ICL面临的挑战，并为进一步研究提供了潜在的方向。
【ACL2022】有关dialogue论文的汇总
qq_42489503的博客
04-14 1863
加粗的论文是有关于任务型对话系统的，部分统计，还有不全的地方 主会 Long paper Achieving Conversational Goals with Unsupervised Post-hoc Knowledge Injection Achieving Reliable Human Assessment of Open-Domain Dialogue Systems An Interpretable Neuro-Symbolic Reasoning Framework for Task-Ori
Transformer-based模型的综述：AMMUS : A Survey of Transformer-based Pretrained Models in NLP
tagagi的博客
11-01 3279
论文地址： https://arxiv.org/abs/2108.05542 1 导言 预训练的来源 最开始是基于规则的学习，后来被机器学习取代 早期机器学习需要特征工程，需要专业领域的知识，耗时 由于硬件和词嵌入的发展，类似于CNN、RNN的深度学习模型出现 问题：除词嵌入外需要从头开始训练模型、需要标记大量实例、成本很高 进而我们期望少量标记实例，尽可能少的训练步数 基于迁移学习（允许重用在源任务中学到的知识，以便在目标任务中很好地执行）的启发： 使用大规模标...
从近年顶会论文看基于GPT-2的端到端任务型对话系统
Paper weekly
10-15 2583
©PaperWeekly 原创 ·作者|褚维芜单位|北京邮电大学硕士生研究方向|自然语言处理任务型人机对话系统旨在帮助用户完成特定领域中的特定任务，例如：餐馆预订、天气查询和...
Video Enhancement with Task-Oriented Flow（TOFlow）
Cyiano的博客
03-24 4428
Video Enhancement with Task-Oriented Flow（TOFlow）论文笔记 介绍 曾经的视频超分辨方法都包含了两个重要的模块：动作估计和超分辨，其中动作估计大都是用CNN推测出光流flow来实现的。推测出光流的目的，主要是为了把输入的几帧图像（It−1,It,It+1It−1,It,It+1I_t-1, I_t, I_t+1）扭曲到同一位置上（It−1−&...
【图像超分】论文精读：CoSeR: Bridging Image and Language for Cognitive Super-Resolution（CoSeR）
畅游计算机视觉的海洋
03-28 6435
现有的超分辨率(SR)模型主要关注恢复局部纹理细节，往往忽略了场景中的全局语义信息。这种疏忽可能导致在恢复过程中遗漏关键的语义细节或引入不准确的纹理。在我们的工作中，我们引入了认知超分辨率 (CoSeR) 框架，使 SR 模型具有理解低分辨率图像的能力。我们通过结合图像外观和语言理解来生成认知嵌入来实现这一点，它不仅激活来自大型文本到图像扩散模型的先验信息但也有助于生成高质量的参考图像来优化SR过程。为了进一步提高图像保真度，我们提出了一种新的条件注入方案，称为“All-in-Attention”，将所有条
OpenCV—python 图像显著性检测算法—鲁棒背景检测
红叶谷 wsp_1138886114的博客
12-13 3262
文章目录一、鲁棒背景检测的显著性优化二、代码演示 一、鲁棒背景检测的显著性优化 Saliency Optimization from Robust Background Detection 摘要 1.首先，我们提出一种鲁棒性的方法叫做背景相关性。它根据图像的边界来表征图像区域的空间布局，具有很强的鲁棒性。它有一个直观的几何解释，并提出独特的优势，这是以前的显着性方法所缺乏的。 2.我们提出一种优...
机器学习之标量和向量的定义
程序新视界
08-27 503
在编程中，标量通常对应于基本数据类型（如整数、浮点数）、向量则可以通过数组、列表或特定的向量类型来实现，特别是在进行科学计算、数据分析或机器学习等领域时，向量的概念非常重要。在二维或三维空间中，向量可以用箭头来表示，箭头的长度代表了向量的大小（有时也称为向量的“模”），箭头的方向则表明了向量的方向。数学上，向量通常表示为有序的数值对或数值组，如二维向量（x, y）或三维向量（x, y, z）。比如，在处理图像数据、物理模拟、机器学习等领域中，对这些基本概念的理解将直接影响到程序的效率和效果。
AI自动采集教学行为——用AI来做机器学习部分和深度学习部分（含torch和cuda）包含机器学习模型和bert模型的使用
最新发布
东方
08-30 175
这个错误是由于 .whl 文件名中的空格导致的。Python 的 pip 工具不允许 .whl 文件名中包含空格。python 机器学习文本分类，读取合并后的excel，‘句子’列是输入，‘标注’列是输出，怎么写代码需要什么库 要最简单的。重命名文件：将 .whl 文件名中的空格替换为下划线 _ 或直接删除空格。提取“句子”列，‘标注’列和‘上下文情境’这三列。按顺序把excel中的这三列拼接在一起。本来走的是autodl的设备，合并输出成一个xlsx文件。之后会报错，需要重命名。要遍历当前文件夹下从。
《陈天奇：机器学习科研的十年》阅读笔记
bunny___的博客
08-27 1064
陈天奇是机器学习领域著名的青年华人学者之一，本科毕业于上海交通大学ACM班，博士毕业于华盛顿大学计算机系，研究方向为大规模机器学习。2019年，陈天奇在Twitter上宣布自己将于2020年秋季加入CMU任助理教授，成为加入CMU的年轻华人学者之一。 在本文中，陈天奇回顾了自己做机器学习科研的十年。 然后，我也写了一些自己的科研心得。
机器学习概述与应用：深度学习、人工智能与经典学习方法
loveting99的博客
08-27 1406
机器学习是一门让计算机能够在没有明确编程的情况下“学习”的科学。它利用统计学、数据分析和优化方法，从数据中提取模式或规律，并根据这些模式做出预测或决策。机器学习的核心步骤包括数据收集、数据预处理、模型选择、模型训练、模型评估与优化。
Dense-YOLOv3模型：提升车型检测精度与鲁棒性
本文介绍了一种改进的车辆检测模型——Dense-YOLOv3，该模型针对传统YOLOv3在处理异常光照条件（如曝光过度或光线较暗）下特征提取鲁棒性不足，导致车型识别率下降的问题进行了优化。Dense-YOLOv3模型融合了DenseNet...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值