![](https://img-blog.csdnimg.cn/20190918140145169.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
自然语言处理
文章平均质量分 95
详解Simple RNN、LSTM、Transformer等模型原理,并使用PaddlePaddle框架进行相关实战
RuizhiHe
毕业于南方科技大学,现任中兴通讯无线研究院算法工程师。
展开
-
机器翻译——英译中
1. 前言本文使用飞桨(PaddlePaddle)训练机器翻译模型,实现从英文翻译成中文的机器翻译。本人全部文章请参见:博客文章导航目录本文归属于:NLP模型原理与应用系列前文:BERT与ERNIE原创 2021-08-04 16:15:45 · 4922 阅读 · 8 评论 -
BERT与ERNIE
1. 前言本文讲解预训练Transformer模型常用的方法:BERT与ERNIE。本人全部文章请参见:博客文章导航目录本文归属于:NLP模型原理与应用系列前文:搭建Transformer模型2. BERTBERT(Bidirectional Encoder Representations from Transformers)用于预训练Transformer模型Encoder网络,可以大幅提升Transformer模型的准确率。BERT的核心思想如下:随机遮挡句子中一个或多个单词,让Enco原创 2021-07-30 22:50:31 · 2461 阅读 · 2 评论 -
搭建Transformer模型
1. 前言本文使用Attention层与Self-Attention层搭建深度神经网络——Transformer模型。本人全部文章请参见:博客文章导航目录本文归属于:NLP模型原理与应用系列前文:Attention is all you need:剥离RNN,保留Attention2. 多头注意力机制3. 多头自注意力机制...原创 2021-07-27 12:41:36 · 1884 阅读 · 0 评论 -
Attention is all you need:剥离RNN,保留Attention
本文讲解……。本人全部文章请参见:博客文章导航目录本文归属于:NLP模型原理与应用系列前文:自注意力机制(Self-Attention):从Seq2Seq模型到一般RNN模型原创 2021-07-17 16:22:51 · 1288 阅读 · 0 评论 -
自注意力机制(Self-Attention):从Seq2Seq模型到一般RNN模型
1. 前言本文讲解自注意力机制(Self-Attention)。本人全部文章请参见:博客文章导航目录本文归属于:NLP模型原理与应用系列前文:注意力机制(Attention):Seq2Seq模型的改进2. 自注意力机制(Self-Attention)Seq2Seq模型一般有两个RNN网络,一个为Encoder,另一个为Decoder。Attention用于改进Seq2Seq模型,解决RNN遗忘问题。Self-Attention也叫做Intra-Attention,与Attention非常类似。原创 2021-07-13 21:31:24 · 1740 阅读 · 0 评论 -
注意力机制(Attention):Seq2Seq模型的改进
1. 前言本文讲解Seq2Seq模型改进方法:注意力机制(Attention)。本人全部文章请参见:博客文章导航目录本文归属于:NLP模型原理与应用系列前文:Sequence-to-Sequence模型原理2. Seq2Seq模型缺点Seq2Seq模型有一个Encoder(编码器),和Decoder(解码器)。由于输入和输出均为序列数据,在深度学习时间中Encoder和Decoder一般均为结构相同的RNN。Encoder RNN对输入序列进行处理,将输入序列信息压缩到一个向量中。Encoder原创 2021-07-12 12:35:46 · 3269 阅读 · 0 评论 -
Sequence-to-Sequence模型原理
1. 前言本文讲解Sequence-to-Sequence(Seq2Seq)模型和机器翻译原理。本人全部文章请参见:博客文章导航目录本文归属于:NLP模型原理与应用系列前文:循环神经网络的改进:多层RNN、双向RNN与预训练...原创 2021-07-10 21:16:58 · 4286 阅读 · 2 评论 -
循环神经网络的改进:多层RNN、双向RNN与预训练
1. 前言本文讲解循环神经网络(RNN)的改进方法,并使用改进的RNN实现电影评论情感分析。本人全部文章请参见:博客文章导航目录本文归属于:NLP模型原理与应用系列前文:长短期记忆网络(LSTM)原理与实战2. 多层RNN(Stacked RNN)在深度学习领域,可以将许多全连接层堆叠,构成一个多层感知机(Multi-Layer Perception),可以将许多卷积层堆叠,构成一个深度卷积网络。同样的,可以将许多RNN层堆叠,构成一个多层RNN网络。RNN每读取一个新的输入xtx_txt,原创 2021-07-06 22:31:37 · 6353 阅读 · 5 评论 -
长短期记忆网络(LSTM)原理与实战
1. 前言本文详解LSTM(Long Short Term Memory)原理,并使用飞桨(PaddlePaddle)基于IMDB电影评论数据集实现电影评论情感分析。本人全部文章请参见:博客文章导航目录原创 2021-07-04 11:01:06 · 4621 阅读 · 0 评论 -
简单循环神经网络(Simple RNN)原理与实战
1. 前言自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向,也是我目前从事的主要方向。本系列文章将详细讲解自然语言处理领域相关模型算法原理,并使用PaddlePaddle框架进行相应项目实战。主要包括:Simple RNN模型、LSTM模型、多层RNN与双向RNN、Seq2Seq模型、注意力机制(Attention)、自注意力机制(Self-Attention)、Attention层与Self-Attention层、Mult原创 2021-06-27 14:49:34 · 5033 阅读 · 0 评论