论文：Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling

已于 2023-07-21 14:01:00 修改
阅读量225 收藏 3
点赞数
分类专栏： nlp论文阅读 文章标签： nlp rnn lstm
于 2023-07-13 21:50:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45730823/article/details/131711822
版权

Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling基于注意力机制的循环神经网络模型应用于联合意图检测和槽填充

摘要

基于注意力机制的encoder-decoder神经网络模型广泛应用于机器翻译和语音识别，

作者提出了基于注意力机制的神经网络模型用于联合意图识别和槽位填充。

在槽位填充中，输入文本和输出标签的对应是明确的，不像在机器翻译和语音识别中，

探讨了将对齐信息纳入encoder-decoder框架中，并引入注意力机制，为意图分类和槽标签预测提供了额外的信息。

关键词：语音理解，槽填充，意图检测，循环神经网络，注意力机制

介绍

口语理解系统SLU是口语对话系统中的一个重要部分。SLU包括下面两个任务

子任务任务内容可以看作常用方法
意图识别识别说话人的意图语义分类任务支持向量机，深度神经网络
槽位填充从自然语言中提取语义成分序列标注任务最大熵隐马尔可夫模型，条件随机场，循环神经网络

作者提出的联合模型简化了SLU系统，因为两个任务只需要一个模型进行训练和微调

介绍encoder-decoder模型：
输入序列 → 编码 密集向量 → 解码 输出序列 输入序列 \xrightarrow{编码} 密集向量 \xrightarrow {解码}输出序列 输入序列编码 ​密集向量解码 ​输出序列
注意力机制的引入可以使得架构同时学习对齐和解码

基于注意力机制的encoder-decoder在没有给定对齐信息的情况下映射不同长度的序列

在这里插入图片描述

在槽位填充中，对齐是明确的

作者的目标：

  • 在encoder-decoder模型中更好的利用槽位填充中的对齐信息
  • 基于对齐的RNN槽位填充能否通过encoder-decoder模型中引入注意力机制进一步改进
  • 融合两种方法

提出的方法

对于槽位填充建立有对齐输入的encoder-decoder模型

编码器 ：采用双向的RNN

使用LSTM作为基本的循环网络单元

（为什么要适用LSTM？LSTM相比于传统的RNN有哪些优势？）

传统的RNN模型图： s t = f ( x t , s t − 1 ) s_t = f(x_t,s_{t-1}) st​=f(xt​,st−1​)

在这里插入图片描述

LSTM模型图，LSTM增加了一条新的时间链c，记录long-term-memory，s链代表短期记忆short-time-memory

在这里插入图片描述

在这里插入图片描述

举例：昨天的记忆是 s t − 1 s_{t-1} st−1​，今天的记忆是 s t s_t st​，昨天的日记本是 c t − 1 c_{t-1} ct−1​，今天的日记本是 c t c_t ct​

要从昨天记忆更新到今天，首先需要对长期记忆链条c做修改：

  • f 1 f_1 f1​函数根据昨天记忆 s t − 1 s_{t-1} st−1​和今天输入 x t x_t xt​对昨天的日记本是 c t − 1 c_{t-1} ct−1​进行删除操作
  • f 2 f_2 f2​函数根据昨天记忆 s t − 1 s_{t-1} st−1​和今天输入 x t x_t xt​对昨天的日记本是 c t − 1 c_{t-1} ct−1​进行添加操作

按照上图中的顺序更新 c t c_t ct​，然后根据昨天的记忆 s t − 1 s_{t-1} st−1​，今天的日记 c t c_t ct​，今天的输入 x t x_t xt​来更新今天的记忆 s t s_t st​
s t = f ( s t − 1 , c t , x t ) s_t = f(s_{t-1},c_t,x_t) st​=f(st−1​,ct​,xt​)

双向RNN编码器

前向RNN按原顺序读取单词序列，在每个时间步长产生一个隐藏状态 f h i fh_i fhi​

反向RNN按相反的顺序读取单词序列，产生隐藏状态序列 ( b h T , ⋯   , b h 1 ) (bh_T,\cdots,bh_1) (bhT​,⋯,bh1​)

每个时间步长的最终隐藏状态 h i = [ f h i , b h i ] h_i = [fh_i,bh_i] hi​=[fhi​,bhi​]

使用LSTM作为RNN的基本单元

解码步骤计算
s i = f ( s i − 1 , y i − 1 , h i , c i ) s_i = f(s_{i-1},y_{i-1},h_i,c_i) si​=f(si−1​,yi−1​,hi​,ci​)

  • s i s_i si​：解码器状态
  • s i − 1 s_{i-1} si−1​：前一个解码器状态
  • y i − 1 y_{i-1} yi−1​：前一个发出的标签
  • h i h_i hi​：对齐的编码器隐藏状态
  • c i c_i ci​：上下文向量

实现意图检测和槽位填充的联合建模

为意图检测任务添加一个额外的解码器，编码器与槽位填充任务共享

意图解码器只生成一个单一的输出，即句子的意图类分布，因此不需要对齐

训练时两个解码器的代价反向传播到编码器，所以可以完成作者的目标1

在这里插入图片描述

a图有注意力机制，没有对齐，

b图有对齐，没有注意力机制

c图既有对齐，又有注意力机制

基于注意力机制的RNN模型

在用于序列标注的双向RNN中，每个时间步长的隐藏状态都携带着整个序列的信息，但信息可能会在正向和反向传播过程中逐渐丢失。

与使用基于注意力机制的encoder-decoder模型相比，基于注意力机制的RNN模型计算效率更高，

基于注意力机制的encoder-decoder模型读取输入序列两次，而基于注意力的RNN模型只读输入序列一次

mili-coding
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling论文笔记
洲洲的博客
04-22 1116
文章目录摘要方法Encoder-Decoder Model with Aligned InputsAttention-Based RNN Model实验 论文连接：Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling 代码连接：https://github.com/a...
Attention-Based Recurrent Neural Network Models for Joint Intent Detection
11-11
Attention-Based Recurrent Neural Network Models for Joint Intent Detection
论文：Attention-Based Recurrent Neural Network Models for Joint Intent Detection
chaojianmo的博客
08-07 696
Attention-Based Recurrent Neural Network Models for Joint Intent Detection 基于attention的encoder-decoder神经网络模型在机器翻译领域取得成功，本文将该模型用于意图识别和槽位填充的联合学习。由于槽位填充任务不像机器翻译任务，槽位填充中输入文本和输出标签的对齐是明确的，文中探索了不同的方法，将对齐信息融入到模型中。另外，在基于attention的encoder-decoder的模型的基础上，进一步提出一种结合了注意
『 论文阅读』Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling
百川的博客
10-14 5076
文章目录1、加入Attention机制和对齐机制的RNN编码器-解码器模型1.1 底层特征：1.1.1 BiRNN(GRU or LSTM)1.2 attention：2、加入Attention机制的RNN模型。实验结果：ConclusionsReference 来自于论文：《Attention-Based Recurrent Neural Network Models for Joint In...
从网络架构方面简析循环神经网络RNN
weixin_30603633的博客
05-17 212
一、前言 1.1 诞生原因 　　在普通的前馈神经网络（如多层感知机MLP，卷积神经网络CNN）中，每次的输入都是独立的，即网络的输出依赖且仅依赖于当前输入，与过去一段时间内网络的输出无关。但是在现实生活中，许多系统的输出不仅依赖于当前输入，还与过去一段时间内系统的输出有关，即需要网络保留一定的记忆功能，这就给前馈神经网络提出了巨大的挑战。除此之外，前馈神经网络难以处理时序数据，比如视频、语音...
Dual-Stage-Attention-Based-Recurrent-Neural-Network:Pytorch https的实现
04-28
基于双阶段注意力的循环神经网络 Pytorch实现
An Attention-based Recurrent Convolutional Networkfor Vehicle
01-10
An Attention-based Recurrent Convolutional Network for Vehicle Taillight Recognition 这是2019年的一篇前车尾灯识别的文章，主要使用了CNN-LSTM方法实现
A one-layer recurrent neural network for constrained nonsmooth invex optimization
02-07
A one-layer recurrent neural network for constrained nonsmooth invex optimization
A-Dual-Stage-Attention-Based-Recurrent-Neural-Network-for-Time-Series-Prediction
05-10
A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Predictionlayer_definition 这部分包括编写自己的图层。双重注意这部分包括数据的预处理，模型的构建和模型的训练。数据从（ ）下载
循环神经网络RNN论文解读
热门推荐
qq_32172681的博客
08-25 3万+
版权声明：本文为CSDN博主「了不起的赵队」的原创文章，遵循CC 4.0 by-sa版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/zhaojc1995/article/details/80572098 论文名称：RECURRENT NEURAL NETWORK REGULARIZATION 论文地址：https://arxiv.org/...
循环神经网络(RNN--Recurrent-Neural-Networks)介绍
06-19
循环神经网络(Recurrent Neural Networks，RNNs)已经在众多自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用。但是，目前网上与RNNs有关的学习资料很少，因此该系列便是介绍RNNs的原理以及如何实现。
循环神经网络RNN
积一时之步，臻千里之遥程
11-29 1002
转载自：https://blog.csdn.net/weixin_40645361/article/details/105025876（作者：一只懒猪猪） 目录 Part One.计算图         一、计算图概览              1.计
关于ATIS以及基于注意力机制的递归神经网络模型 的学习记录
qq_36955360的博客
10-28 9083
一、 摘要及研究背景 1、论文WHAT IS LEFT TO BE UNDERSTOOD IN ATIS? (在ATIS中要理解的是什么？) 1)、摘要        航空旅行信息系统（ATIS）语料库是过去二十年来在口语对话系统中进行语言理解（SLU）研究等许多研究中使用的主要数据资源之一。SLU的两个主要任务是意图识别（ID）和信息槽填充（SF）。最近的研究表明使用鉴别机器学习技术与A
李宏毅机器学习笔记-12.1 循环神经网络（Recurrent Neural Network-RNN）- part 1
Memory
05-17 1012
Recurrent Neural Network(RNN) - 循环神经网络（part 1) 1 从一个例子说起 假设要做一个智能客服系统或者智能订票系统之类的，需要用到一个叫做 Slot Filling 的技术，举个例子，如果做一个人对智能订票系统说 ”I would like to arrive Taipei on November 2nd“。那么你的系统会有一些 Slot，在这里...
深度学习-神经网络-循环神经网络（一）：RNN（Recurrent Neural Network，循环神经网络；1990年）
u013250861的博客
07-21 9787
为什么有了神经网络还需要有循环神经网络？在普通的神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。特别是在很多现实任务中，网络的输出不仅和当前时刻的输入相关，也和其过去一段时间的输出相关。此外，普通网络难以处理时序数据，比如视频、语音、文本等，时序数据的长度一般是不固定的，而前馈神经网络要求输入和输出的维数都是固定的，不能任意改变。因此，当处理这一类和时序相关的问题时，就需要一种能力更强的模型。循环神经网络（Recurrent Neural Net
深度解读RNN：基于经典论文的原理、关键点与优缺点分析
最新发布
无敌小怪兽_Zz的博客
04-13 3199
本文以论文为主线进行深入探讨RNN的基本概念，详细分析了RNN在处理序列数据中的优势和局限性。通过全面梳理RNN的发展历程和实际应用场景，本文旨在为读者提供对序列学习领域的全面理解，以及对RNN技术的深入洞察。
深度学习---循环神经网络RNN详解（LSTM）
进击的菜鸟
12-09 3521
上一节我们详细讲解了RNN的其中一个学习算法即BPTT，这个算法是基于BP的，只是和BP不同的是在反向传播时，BPTT的需要追溯上一个时间的权值更新，如下图，当前时刻是s(t),但是反向传播时，他需要追溯到上一个时间状态即s(t-1),s(t-2),....直到刚开始的那个时间，但是根据BP我们知道存在一个梯度消失的问题，因此追溯的层数越深，梯度消失的越厉害，基本上追溯到5个时间段时梯度就为0了，...
插槽填充(Slot Filling)和意图检测(Inten Detection)近几年相关论文总结
洲洲的博客
04-26 3352
文章目录Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling（2016）Slot-Gated Modeling for Joint Slot Filling and Intent Prediction（2018）BERT for Joint Intent Classif...
意图识别与槽填充
u013713117的专栏
02-10 2万+
Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling摘要这篇文章主要介绍了使用Attention-Based RNN模型识别意图和槽填充（slot filling）。意图识别通常使用分类的方法将句子分为相应的意图种类。槽填充则可以看做是序列标注问题，即对于给定的句子中的每
公式推导下Dual-Stage Attention-Based Recurrent Neural Network 的原理
02-06
Dual-Stage Attention-Based Recurrent Neural Network (DS-ARNN) 是一种用于序列标注任务的深度学习模型。它由两个部分组成：第一部分是基于注意力机制的双向长短时记忆网络 (Bi-LSTM)，用于提取序列的高级特征；第二部分是基于注意力机制的前馈神经网络 (FNN)，用于权衡不同位置的特征并预测序列标签。 DS-ARNN 的第一部分使用双向长短时记忆网络 (Bi-LSTM) 提取序列的高级特征。 Bi-LSTM 是一种结合了正向和反向 LSTM 的网络，可以捕捉序列中正反两个方向上的依赖关系。 第二部分使用基于注意力机制的前馈神经网络 (FNN) 来权衡不同位置的特征并预测序列标签。注意力机制允许模型在不同位置上的输入之间进行权衡，从而更好地理解序列的上下文信息。最终,DS-ARNN可以更好地学习序列中的高级特征并预测标签。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值