神经翻译笔记4扩展c. 2017-2019年间RNN和RNN语言模型的新进展

最新推荐文章于 2024-08-31 09:31:14 发布
最新推荐文章于 2024-08-31 09:31:14 发布
阅读量882 收藏 5
点赞数
分类专栏： 神经翻译笔记 文章标签： lstm rnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xacecask2/article/details/105646133
版权
本文回顾2017年至2019年间RNN和RNN语言模型的进展，包括QuasiRNN、FS-RNN、Skip RNN等结构的创新，旨在捕捉长距离依赖和提高计算效率。FS-RNN结合了多尺度和深度变换RNN的优点，Skip RNN通过学习跳过状态更新以减少操作，而MoS模型通过矩阵分解提高表示能力。此外，IndRNN解决了传统RNN的梯度问题，ON-LSTM利用有序神经元表达层次结构，Mogrifier LSTM增强了输入表示的上下文相关性。这些研究展示了RNN在应对长序列和增强理解能力方面的新方法。
摘要由CSDN通过智能技术生成

文章目录

神经翻译笔记4扩展c. 2017-2019年间RNN和RNN语言模型的新进展

尽管在本文写作时（2020年4月），基于Transformer结构的预训练语言模型已经大杀四方，BERT都已经成为明日黄花，在其基础上衍生的各种变体，例如RoBERTa、ALBERT、BART等等长江后浪推前浪，使得基于RNN的语言模型更不再是语言模型领域的焦点。但是为了系列文章结构的完备性，本文以及下一篇文章仍然会介绍一些这方面的“新”工作和一些里程碑式的工作。本文将介绍2017至2019三年间，RNN体系结构及基于RNN的语言模型的一些新进展。

QuasiRNN

本文实际上发表于2016年，而且采用了CNN的思想，因此先不在本文介绍。在这里先立个flag，等本系列笔记进行到6时，再概述此工作。采取同样思想的亦有SRU，准备也到时再介绍

FS-RNN

FS-RNN (Fast-Slow RNN) [Mujika2017] 受两类RNN的启发

  • 多（时间）尺度RNN：对于堆叠RNN中更高层的若干层，其被更新的次数越少（更不频繁），以此来获得信息的分层表示。由于高层参数更新变慢，因此计算起来更高效，梯度更新路径越短，越能捕捉长距离依赖
  • 深度变换RNN (deep transition RNN)，其相邻两个隐藏状态之间引入了新的顺序连接层，以此来增加两个时间步之间变换函数的深度，进而学习更复杂的非线性变换

FS-RNN将两类网络结合起来，最简单的方式是

  • 对底层RNN，引入深度变换（若干顺序连接层），称为“快层”
  • 对高层RNN，降低更新频率，称为“慢层”

更形式化地讲，底层在两个时间步之间插入 k k k个顺序连接的RNN神经元 F 1 , … , F k F_1, \ldots, F_k F1​,…,Fk​，高层只使用一个神经元 S S S。 F 1 F_1 F1​接收第 t t t时间步的输入 x t x_t xt​，将输出传给 S S S作为输入， S S S处理后将状态传给 F 2 F_2 F2​，然后从 F 2 F_2 F2​开始输出逐级传播下去，前一个 F i − 1 F_{i-1} Fi−1​的输出作为后一个 F i F_i Fi​的输入，到 F k F_k Fk​输出概率分布 y t y_t yt​，如下图所示

FSRNN示意图，图中共有k个“快”RNN单元，其中只有第二个单元从“慢”单元接收输入

记每个RNN神经元 Q Q Q为一个可微函数 f Q ( h , x ) f^Q(h,x) fQ(h,x)，其将上一步的隐藏状态 h h h和输入 x x x一起映射为一个新的隐藏状态，则

h t F 1 = f F 1 ( h t − 1 F k , x t ) h t S = f S ( h t − 1 S , h t F 1 ) h t F 2 = f F 2 ( h t F 1 , h t S ) h t F i = f F i ( h t F i − 1 )    f o r   3 ≤ i ≤ k y t = s o f t m a x ( W h t F k + b ) \begin{aligned} h_t^{F_1} &= f^{F_1}(h_{t-1}^{F_k}, x_t) \\ h_t^{S} &= f^{S}(h_{t-1}^{S}, h_t^{F_1}) \\ h_t^{F_2} &= f^{F_2}(h_{t}^{F_1}, h_t^S) \\ h_t^{F_i} &= f^{F_i}\left(h_t^{F_{i-1}}\right)\ \ {\rm for\ }3\le i \le k \\ y_t &= {\rm softmax}\left(Wh_t^{F_k}+b\right) \end{aligned} htF1​​htS​htF2​​htFi​​yt​​=fF1​(ht−1Fk​​,xt​)=fS(ht−1S​,htF1​​)=fF2​(htF1​​,htS​)=fFi​(htFi−1​​)  for 3≤i≤k=softmax(WhtFk​​+b)​

文章使用LSTM作为基础的RNN神经元，在Penn Treebank和enwik8上均取得了不错的效果

Skip RNN

传统RNN和普通的带门控的RNN（例如LSTM）对长句表现都不好。[Campos2017]的思路是让网络学习输入序列中哪些样本可以解决目标问题，因此可以在训练时跳过一些状态的更新，可以减少对序列的操作

记RNN接受的输入序列 x = ( x 1 , … , x T ) \boldsymbol{x} = (x_1, \ldots, x_T) x=(x1​,…,xT​)，每步向下传递的状态为 s = ( s 1 , … , s T ) \boldsymbol{s}=(s_1, \ldots, s_T) s=(s1​,…,sT​)，有

s t = R N N ( s t − 1 , x t ) s_t = {\rm RNN}(s_{t-1}, x_t) st​=RNN(st−1​,xt​)

本文引入了一个额外的状态更新门 u t ∈ { 0 , 1 } u_t \in \{0,1\} ut​∈{ 0,1}，该门是完全二值的，只输出0或1，不像LSTM或GRU那样输出一个0到1的浮点数。当 u t = 1 u_t = 1 ut​=1时，该时刻状态更新；当 u t = 0 u_t = 0 ut​=0时，该时刻从前一时刻直接拷贝状态。 u t u_t ut​的结果由上一步产生的概率 u ~ t ∈ [ 0 , 1 ] \tilde{u}_{t} \in [0,1] u~t​∈[0,1]决定，具体地

u t = f b i n a r i z e ( u ~ t ) s t = u t ⋅ R N N ( s t − 1 , x t ) + ( 1 − u t ) ⋅ s t − 1 Δ u ~ t = σ ( W p s t + b p ) u ~ t + 1 = u t ⋅ Δ u ~ t + ( 1 − u t ) ⋅ ( u ~ t + min ⁡ ( Δ u ~ t , 1 − u ~ t ) ) \begin{aligned} u_t &= f_{\rm binarize}(\tilde{u}_t) \\ s_t &= u_t \cdot {\rm RNN}(s_{t-1}, x_t) + (1-u_t)\cdot s_{t-1} \\ \Delta \tilde{u}_t &= \sigma(\boldsymbol{W}_ps_t + \boldsymbol{b}_p) \\ \tilde{u}_{t+1} &= u_t \cdot \Delta\tilde{u}_t + (1-u_t)\cdot (\tilde{u}_t + \min(\Delta\tilde{u}_t, 1-\tilde{u}_t)) \end{aligned} ut​st​Δu~t​u~t+1​​=fbinarize​(u~t​)=ut​⋅RNN(st−1​,xt​)+(1−ut​)⋅st−1​=σ(Wp​st​+bp​)=ut​⋅Δu~t​+(1−ut​)⋅(u~t​+min(Δu~t​,1−u~t​))​

其中 W p \boldsymbol{W}_p Wp​是权重， b p \boldsymbol{b}_p bp​是偏置项， σ \sigma σ是sigmoid函数， f b i n a r i z e : [ 0 , 1 ] → { 0 , 1 } f_{\rm binarize}:[0,1] \rightarrow \{0,1\} fbinarize​:[0,1]→{ 0,1}是将输入映射为0或1的函数，本文使用了四舍五入法（round），也可以从伯努利分布随机采样。模型隐含了一个信息：如果连续跳过的状态越多，那么下一个状态就更可能被更新：

  • 如果当前状态被跳过，那么下一个时间步的“预激活值” u ~ t + 1 \tilde{u}_{t+1} u~t+1​会增加 Δ u ~ t \Delta \tilde{u}_t Δu~t​
  • 如果当前状态被更新，那么累积的“预激活值”清零，重置为 Δ u ~ t \Delta \tilde{u}_t Δu~t​

如果在某些场合下，可以为减少计算量额外牺牲精度，即为了让模型更倾向于少更新状态，则可以引入一个额外的损失项

L b u d g e t = λ ⋅ ∑ t = 1 T u t L_{\rm budget} = \lambda \cdot \sum_{t=1}^T u_t Lbudget​=λ⋅t=1∑T​ut​

有趣的是，本工作的三项实验均未在NLP任务上进行

高秩RNN语言模型MoS

[YangZhilin2017]将语言模型看作是一个矩阵分解问题。文章将自然语言 L \mathcal{L} L定义为一个有限集合，集合中每个元素是一个有序对，由上下文和给定上下文后下一个标识符的分布两者组成，即

L = { ( c 1 , P ∗ ( X ∣ c 1 ) ) , … , ( c N , P ∗ ( X ∣ c N ) ) } \mathcal{L} = \{(c_1, P^\ast(X|c_1)), \ldots, (c_N, P^\ast(X|c_N))\} L={ (c1​,P∗(X∣c1​)),…,(cN​,P∗(X∣cN​))}

其中 N N

最低0.47元/天 解锁文章
TimsonShi
关注
专栏目录
【NLP】第16章 使用RNN 和注意力的自然语言处理
sikh_0529的博客
09-22 1万+
什么时候Alan Turing 在 1950 年设想了他著名的，他的目标是评估机器匹配人类智能的能力。他本可以测试很多东西，比如识别图片中的猫、下棋、作曲或逃离迷宫的能力，但有趣的是，他选择了语言任务。更具体地说，他设计了一个聊天机器人，能够愚弄其对话者认为它是人类。这个测试确实有它的弱点：一组硬编码的规则可以欺骗毫无戒心或天真的人（例如，机器可以给出模糊的预定义答案以响应某些关键字；它可以假装它是在开玩笑或喝醉，以通过它最奇怪的答案；
大语言模型应用指南：从人工智能的起源到大语言模型
AI天才研究院
06-27 1042
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
RNN循环神经网络：探索序列数据的新方式
m0_74693860的博客
05-12 207
通过输入向量和隐藏状态向量的组合，RNN可以计算出当前时间步的输出向量，并作为下一个时间步的隐藏状态向量输入到模型中。RNN模型有助于学习序列数据之间的关系，并在自然语言处理、语音识别和时间序列预测等任务中表现出色。通过使用RNN模型，可以在输入序列中学习出词语之间的关系，并将这种关系应用到新的序列中。RNN在处理序列数据方面的能力使得它在自然语言处理、语音识别和时间序列预测等领域得到了广泛应用。通过学习序列数据之间的关系，RNN在自然语言处理、语音识别和时间序列预测。1.自然语言处理(NLP)
最新RNN相关模型
sereasuesue的博客
10-22 1309
最近在看最新RNN相关模型 找到很多论文 Fundamentals of Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) network 递归神经网络（RNN）和长短期记忆（LSTM）网络的基础 要点• 递归神经网络（RNN）的定义来自延迟微分方程。 •RNN展开技术在形式上被证明是近似无限序列。 •可以从RNN逻辑上合理化长短期内存网络（LSTM）。 •提供了完全推导LSTM训练方程式的系统图...
Skip RNN 项目使用教程
最新发布
gitblog_00148的博客
08-31 847
Skip RNN 项目使用教程 skiprnn-2017-telecombcnSkip RNN: Learning to Skip State Updates in Recurrent Neural Networks (ICLR 2018)项目地址:https://gitcode.com/gh_mirrors/sk/skiprnn-2017-telecombcn 1. 项目的目录结构及介绍 sk...
全面综述：循环神经网络进展
11-22
改为比较全面的叙述了循环神经网络从一开始到现在发展的情况，对其发展的脉络进行了比较全面的介绍
深度学习 RNN初探
Fantastic
10-22 233
RNN初探
2019到目前为止的深度学习研究进展汇总
04-24
2019到目前为止的深度学习研究进展汇总，Best Deep Learning Research of 2019 So Far。
神经翻译笔记6. 卷积神经网络及其在机器翻译中的应用
Timson的NLP笔记本
12-24 2085
文章目录神经翻译笔记6. 卷积神经网络及其在机器翻译中的应用CNN的基本原理卷积卷积的定义CNN中的基本二维卷积操作对二维卷积操作的扩展二维卷积总结一维卷积为什么使用卷积池化典型CNN结构CNN在机器翻译中的应用ByteNetConvS2S卷积层多步注意力机制其它设计细节带有CNN思想的RNNQuasiRNN基本结构变种参考文献 神经翻译笔记6. 卷积神经网络及其在机器翻译中的应用 本章主要记录卷积神经网络（及其常见的附加操作，例如池化操作）的原理，及其在机器翻译中的使用方法。此外，在附录中，会填补前面在写
《侃侃大模型系列》第二章（2）——模型的发展历程：从神经网到预训练大模型（1）近年来的突破与进展
weixin_58339855的博客
03-04 1332
举例：“The animal didn't cross the street because it was too tired”，其中“it”可以代指任何东西，“Transformer”中 的注意力机制可以关注到输入序列里所有词，并给予不同权重，而 像这样的自注意力机制有很多个，每个自注意力机制都有自己的注 意力权重，用来关注文本里不同特征，每个权重互不影响，也就意 味着可以实现并行计算。此外，多模态大模型的出现，使得模型能够处理多种类型的数据（如文本、图像、语音等），进一步拓宽了模型的应用场景。
NLP 最新进展
chunyun0716的专栏
12-06 791
  参考文献： •http://www.dataguru.cn/article-14237-1.html •https://zhuanlan.zhihu.com/p/46652512 •https://github.com/google-research/bert •https://allennlp.org/el...
RNN
热门推荐
对算法理论、算法工程落地、大数据工具等感兴趣
06-06 31万+
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。 ...
RNN在语音处理中的最新进展与实践
AI天才研究院
12-31 993
1.背景介绍 语音处理是计算机科学的一个重要分支，涉及到语音信号的收集、处理、分析和识别等方面。随着深度学习技术的发展，递归神经网络(RNN)在语音处理领域取得了显著的进展。在本文中，我们将从以下几个方面进行全面的探讨： 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体代码实例和详细解释说明 未来发展趋势与挑战 附录常见问题与解答 1.1 语音信号的基本...
Mogrifier LSTM论文浅析
码农ZZK的博客
03-02 4597
前言 LSTM模型是基于RNN循环网络提出的一种改进的门控网络 通过各个门很好地控制了时间步前后的信息 他一共有四个门，分别是遗忘门，输入门，候选记忆细胞，输出门 他能较好地建模长语义，缓解梯度消失的问题 问题提出 可以看到我们的输入x和隐藏状态H是相互独立的，理论上来说，当前输入应该是和前一时间步的隐藏状态有关，但是LSTM中只是将这两个进行运算，获得各个门的输出。 因此有研究者提出在进入各个...
lstm
qq_34438672的博客
09-06 212
http://www.360doc.com/content/17/0705/23/99071_669193597.shtml
一文搞懂Attention机制的诞生及发展（原理+代码）
Python，数据分析，机器学习，深度学习
12-21 2487
这个月初，我写过一篇博客，是关于共现网络的构建，之所以研究共现网络，就是想找寻词之间的关系，当然我之前的博客在决策树的时候也提到过信息熵和信息增益的概念，这些都是来衡量一个词的重要性。几个月前看了发表于2017年的经典论文《Attention Is All You Need》(NeurIPS2017) 论文地址：https://arxiv.org/abs/1706.03762，这是Google在NeurIPS2017发表的一篇文章，在CV、NLP、多模态等各个领域都有很大的影响力，目前引用量已经2.2w+
算法岗面试问题总结（三）
nihaomeimeiz的博客
03-06 416
算法岗面试问题总结（三）
2017年深度学习重大研究进展全解读
深度学习世界
12-22 3801
选自Statsbot作者：Eduard Tyantov机器之心编译2017 年只剩不到十天，随着 NIPS 等重要会议的结束，是时候对这一年深度学习领域的重要研究与进展进行总结了。来自机器学习创业公司的 Eduard Tyantov 最近就为我们整理了这样一份列表。想知道哪些深度学习技术即将影响我们的未来吗？本文将给你作出解答。1. 文本1.1 谷歌神经机器翻译去年，谷歌宣布上线 Google T
自然语言处理（NLP）技术的发展历程
qq_33820358的博客
08-10 1281
自然语言处理（Natural Language Processing，NLP）技术是指计算机处理和理解人类语言的能力。它涵盖了语言的各个层面，包括语音识别、语言理解、语言生成和机器翻译等。随着技术的不断进步和数据的不断积累，NLP技术在各个领域都取得了显著的进展，如机器翻译、语音识别、情感分析、问答系统等。未来，随着深度学习和大数据的进一步发展，我们可以期待NLP技术在更多实际应用中的广泛应用和进一步突破。
1. ARIMA 2. SARIMA 3. VAR 4. Auto-ARIMA 5. Auto-SARIMA 6. LSTM 7. GRU 8. RNN 9. CNN 10. MLP 11. DNN 12. MLP-LSTM 13. MLP-GRU 14. MLP-RNN 15. MLP-CNN 16. LSTM-ARIMA 17. LSTM-MLP 18. LSTM-CNN 19. GRU-ARIMA 20. GRU-MLP 21. GRU-CNN 22. RNN-ARIMA 23. RNN-MLP 24. RNN-CNN 25. CNN-ARIMA 26. CNN-MLP 27. CNN-LSTM 28. CNN-GRU 29. ARIMA-SVM 30. SARIMA-SVM 31. VAR-SVM 32. Auto-ARIMA-SVM 33. Auto-SARIMA-SVM 34. LSTM-SVM 35. GRU-SVM 36. RNN-SVM 37. CNN-SVM 38. MLP-SVM 39. LSTM-ARIMA-SVM 40. LSTM-MLP-SVM 41. LSTM-CNN-SVM 42. GRU-ARIMA-SVM 43. GRU-MLP-SVM 44. GRU-CNN-SVM 45. RNN-ARIMA-SVM 46. RNN-MLP-SVM 47. RNN-CNN-SVM 48. CNN-ARIMA-SVM 49. CNN-MLP-SVM 50. CNN-LSTM-SVM 51. CNN-GRU-SVM 52. ARIMA-RF 53. SARIMA-RF 54. VAR-RF 55. Auto-ARIMA-RF 56. Auto-SARIMA-RF 57. LSTM-RF 58. GRU-RF 59. RNN-RF 60. CNN-RF 61. MLP-RF 62. LSTM-ARIMA-RF 63. LSTM-MLP-RF 64. LSTM-CNN-RF 65. GRU-ARIMA-RF 66. GRU-MLP-RF 67. GRU-CNN-RF 68. RNN-ARIMA-RF 69. RNN-MLP-RF 70. RNN-CNN-RF 71. CNN-ARIMA-RF 72. CNN-MLP-RF 73. CNN-LSTM-RF 74. CNN-GRU-RF 75. ARIMA-XGBoost 76. SARIMA-XGBoost 77. VAR-XGBoost 78. Auto-ARIMA-XGBoost 79. Auto-SARIMA-XGBoost 80. LSTM-XGBoost 81. GRU-XGBoost 82. RNN-XGBoost 83. CNN-XGBoost 84. MLP-XGBoost 85. LSTM-ARIMA-XGBoost 86. LSTM-MLP-XGBoost 87. LSTM-CNN-XGBoost 88. GRU-ARIMA-XGBoost 89. GRU-MLP-XGBoost 90. GRU-CNN-XGBoost 91. RNN-ARIMA-XGBoost 92. RNN-MLP-XGBoost 93. RNN-CNN-XGBoost 94. CNN-ARIMA-XGBoost 95. CNN-MLP-XGBoost 96. CNN-LSTM-XGBoost 97. CNN-GRU-XGBoost 98. ARIMA-ANN 99. SARIMA-ANN 100. VAR-ANN 上面这些缩写模型的全称及相关用途功能详细解释
07-15
以下是对缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别。 10. MLP (Multi-Layer Perceptron): 多层感知机，一种前馈神经网络模型，适用于处理非线性关系的时间序列数据。 11. DNN (Deep Neural Network): 深度神经网络，具有多个隐藏层的神经网络模型，能够学习更复杂的特征表示。 12. MLP-LSTM: 结合了多层感知机和长短期记忆网络的模型，用于时间序列数据的建模和预测。 13. MLP-GRU: 结合了多层感知机和门控循环单元网络的模型，用于时间序列数据的建模和预测。 14. MLP-RNN: 结合了多层感知机和循环神经网络的模型，用于时间序列数据的建模和预测。 15. MLP-CNN: 结合了多层感知机和卷积神经网络的模型，用于时间序列数据的建模和预测。 这些模型可以根据具体问题和数据的特性来选择和使用，以获得最佳的时间序列预测性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值