神经网络做NLP的历史

最新推荐文章于 2024-06-02 22:19:32 发布

Wsyoneself

最新推荐文章于 2024-06-02 22:19:32 发布

阅读量253

点赞数 1

分类专栏： NLP 文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/weixin_45647721/article/details/127732331

版权

NLP 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

2001：神经概率语言模型（NPLM）模型用于语言建模任务。语言建模任务指的是给定上下文单词去预测当前单词，NPLM 模型使用前馈神经网络来根据上下文信息预测当前词出现的概率
2008：将多任务学习应用到NLP领域，多任务学习（Multi-task learning）是基于共享表示，把多个相关的任务放在一起学习的一种机器学习方法
2013：提出Word2Vec 模型来构建词嵌入表示。以往的文本表示都是基于 one-hot 这类的稀疏向量，具有高维稀疏、无法学习词之间的信息等问题，而 Word2Vec 是密集向量并且能够学习到词之间的相似性
2013后，大量的深度学习模型开始应用到 NLP 领域，使用最广泛的神经网络是RNN、CNN、层次网络、递归神经网络
2014：提出了seq2seq模型，Seq2Seq 模型属于编码器-解码器结构，在自然语言处理、计算机视觉、语音识别等领域都有非常广泛的应用
2015：
1. attention，Attention 机制从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的信息。
2. Memory-based networks：记忆网络是在神经网络的基础上引入记忆单元，用来存储长期记忆。记忆单元可以是向量、矩阵或多个矩阵
2018：预训练语言模型是指利用大规模数据集预训练模型进行迁移学习。一方面可以更好的初始化网络参数，另一方面可以加快模型收敛，并且能够取得更好的效果。词嵌入可以认为仅用于初始化模型中的第一层，而预训练语言模型是预训练多层神经网络