A Survey of the Usages of Deep Learning for Natural Language Processing2019综述学习

这篇论文的特点在于将NLP的领域分类较好,算法都是讲的怎么用的(都是CNN、RNN变形和bert),没有讲原理,没有一个公式。作为NLP入门了解一些专业词汇很好。

摘要
在过去的几年里,随着深度学习模型的大量使用,自然语言处理领域得到了极大的发展。本调查对该领域进行了简要介绍,并简要概述了深度学习体系结构和方法。然后,它筛选了大量最近的研究,并总结了大量相关的贡献。分析的研究领域除了计算语言学的一些应用外,还包括几个核心的语言处理问题。并对今后的研究提出了建议。
关键词
深度学习,神经网络,自然语言处理,计算语言学,机器学习

1.介绍

以前方法:统计学、概率论、机器学习
有了GPU之后
现在方法:深度学习
本文主要介绍NLP和深度学习。第二章AL和NLP理论;
第三章NLP的四个主要问题:语言模型、形态学、句法分析、语义,以及DL在其中的应用;
第四章NLP的应用领域:信息检索、信息抽取、文本分类、文本生成、总结、问答系统、机器翻译;
第五章结论,未来展望。

2.自然语言处理和深度学习

2.1自然语言处理

NLP两个大的子领域:核心领域和应用
核心领域:语言模型、形态学、句法分析、语义(+一句话介绍每部分是干什么的)注意:很多有交叉
应用:信息检索、信息抽取、文本分类、文本生成、总结、问答系统、机器翻译
以前机器学习的方法:朴素贝叶斯、KNN、隐马尔可夫、条件随机场、决策树、随机森林、支持向量机。
最近几年用于NLP的方法:transformer。

2.2神经网络和深度学习

神经网络、随机梯度下降、反向传播、前馈神经网络(FFNN)、深度神经网络(DNN)

2.2.1 CNN

CNN被用于图片处理、视频处理、语音处理和自然语言处理
池化可以减小

2.2.2递归神经网络

递归神经网络Recursive Neural Networks
CNN同一层之间共享权重,而RNN是不同层之间共享权重

2.2.3循环神经网络和LSTM

循环神经网络: Recurrent Neural Networks
LSTM:Long Short-Term Memory Networks
循环神经网络是递归神经网络的一种
因为RNN是单向的,而单词之间的关系是双向的,因此有了 双向RNN(bidirectional RNN)
工程化应用广泛的一种RNN是LSTM
一种轻量化的LSTM变体是GRU( Gated Recurrent Unit)

2.2.4注意力机制和transformer

在这里插入图片描述上图是transformer模型。其中a图中,四个蓝色编码器和四个红色解码器,编码器前面有一个positional encoder(粉红色)。b 图和c图对应的是a图内部结构,其中b是编码器内部结构,c 是解码器内部结构。编码器中一个self-attention layer,一个feed forward layer。解码器中一个 self-attention layer,一个attentional encoder-decoder layer,一个feed forward layer。
原来RNN的问题:不关注哪个重要哪个不重要,全部从编码器到解码器。
因此有了attention机制。
attention 机制的一些变体:convolutional , intra-temporal , gated , and self-attention
Self-attention in particular has become widely used in a state-of-the-art encoder-decoder model called Transformer。

2.2.5 残差连接和dropout

防止梯度爆炸和梯度消失的方法:
1.选择合适的激活函数,推荐relu
2.残差连接,网络举例: residual network (ResNet)
一些变体: Highway Networks and DenseNets .
3.dropout:防止训练数据过拟合

3.深度学习用于NLP的核心领域

主要分为四个部分:语言模型、形态学、句法分析、语
义学
语言模型决定哪个词与哪个词连接
形态学研究词本身的结构,词根前缀后缀,性别数字等。
句法分析词怎么构成句子
语义学研究每个词的意思以及怎么构成句子。
在这里插入图片描述

3.1语言模型

Language modeling (LM)

3.1.1 神经语言模型

可以识别同义词和词汇表外词

3.1.2评估LM

目前没有完美的方法,有一个度量指标是困惑度(perplexity)
困惑度的一个缺点是只能在同一个数据集上进行比较,多个数据集之间没有意义。
这个领域常用数据集:Penn Treebank (PTB) [54], and the Billion Word Benchmark

3.1.3LM中的记忆网络和注意力机制

1.运用注意力机制的网络变形三次递进尝试
1) a single value to predict the next token, to encode information for the attentional unit, and to decode the information in the attentional unit hinders a network
问题:difficult to train a single parameter to perform three distinct tasks simultaneously
2)designed each node to have two outputs: one to encode and decode the information in the attentional unit, and another to predict the next tokens explicitly
3)further separated the outputs, using separate values to encode the information entering the attentional unit and decode the information being retrieved from it
It was found that this network also provided results comparable to many larger RNNs and LSTMs, suggesting that reasonable results can be achieved using simpler networks.

2.近期 residual memory networks (RMNs) for LM
注意:residual connections skipping two layers were most effective
It was found that RMNs are capable of outperforming LSTMs of similar size.

3.1.4 CNN用于LM

A CNN used recently in LM replaced the pooling layers with fully-connected layers
Three different architectures were implemented:
1)a multilayer perceptron CNN (MLPConv)
2) a multilayer CNN (ML-CNN)
3) a combination of these networks called COM
this study showed that CNNs can be used to capture long term dependencies in sentences.

3.1.5 Character Aware Neural Language Model

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: elpagination已经过时,请参考el-pagination。 elpagination是Element UI中的一个分页组件,它在早期版本中被广泛使用。但是,随着Element UI的不断更新,该组件已经被废弃了。 如果你正在使用旧版本的Element UI,你可能会遇到“elpagination deprecated usages detected”的错误提示。这意味着你需要更新代码来使用新的分页组件——el-pagination。 el-pagination是Element UI的最新分页组件,它提供了一些新功能和更好的性能。使用el-pagination,你可以轻松地实现分页功能,包括显示总页数、跳转到指定页码等等。 如果你想升级到Element UI的最新版本,那么你需要将你的代码中的elpagination替换为el-pagination。为了避免出现错误,你需要仔细检查代码中的所有分页组件,确保它们都已经被更新为新的el-pagination。 总之,elpagination已经过时,需要将其替换为新的el-pagination组件,以保持你的代码的正确性和稳定性。 ### 回答2: 首先需要解释一下什么是 “elpagination”,它指的是 Element UI 框架中的分页组件。而 “deprecated usages detected” 是指该组件的某些使用方式已经过时了,建议开发者将其改为新的使用方式,即 “el-pagination”。 这个提示的出现主要是因为 Element UI 更新了版本,其中包含了一些对分页组件的调整和优化。为了更好地支持新的特性和功能,一些旧的使用方式被标记为过时,在未来的版本中可能会被移除。因此,开发者应该尽早地将代码中的 “elpagination” 改为 “el-pagination”,以免在未来的升级中出现不兼容的问题。 在实际使用中,开发者应该按照文档中描述的方法来使用 “el-pagination” 组件,正确地设置相关属性和事件,以达到预期的分页效果。此外,也建议开发者及时关注 Element UI 的更新和发布信息,了解最新的特性和使用方式,以便更好地应对未来的开发需求。 ### 回答3: 在使用Element UI的时候,有时候会出现一个错误提示:“[elpagination] deprecated usages detected, please refer to the el-pagination”。这个提示的意思是使用了过期的el-pagination组件,建议使用新的el-pagination组件来代替。 在Element UI 2.0版本之前,el-pagination组件存在一些问题,比如在分页器很小并且页码数很多的情况下,分页器无法正常显示。因此,Element UI团队针对这个问题在2.0版本中进行了优化,并引入了新的el-pagination组件来替代旧的组件。 如果你在使用Element UI时看到这个错误提示,那么你需要按照提示的建议,使用新的el-pagination组件。新的el-pagination组件与旧的组件用法类似,但是在一些细节方面有所改变,比如可以设置最大页码数,并且可以通过布尔类型的参数来控制是否显示“上一页”和“下一页”按钮等。 总之,Element UI不断更新迭代,发布新版本,旧组件被淘汰也是必然的。因此,在使用Element UI时,我们需要时刻关注官方文档,及时更新自己的代码,以免出现像“[elpagination] deprecated usages detected, please refer to the el-pagination”这样的错误提示。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值