- 博客(10)
- 收藏
- 关注
RSS订阅
原创 Pytorch实现Seq2Seq模型：以机器翻译为例
本文将使用PyTorch和TorchText构建一个深度学习模型，该模型是《Sequence to Sequence Learning with Neural Networks》这篇论文的Pytorch实现，作者将其应用于机器翻译问题。所有代码亲测可以顺利执行。
2019-08-08 15:26:48
9578
8
原创 pytorch自然语言处理基础模型之七：Seq2Seq
1、模型原理 所谓Seq2Seq(Sequence to Sequence), 就是一种能够根据给定的序列，通过特定的方法生成另一个序列的方法。最基础的Seq2Seq模型包含了三个部分，即Encoder、Decoder以及连接两者的中间状态向量C，Encoder通过学习输入，将其编码成一个固定大小的状态向量c，继而将c传给Decoder，Dec...
2019-11-12 13:54:04
535
原创 pytorch自然语言处理基础模型之六：BiLSTM
上一篇文章我们介绍了LSTM的基本原理，本文我们将构建一个双向LSTM网络去生成一个语言模型。所谓语言模型就是估算一个单词在一个序列中出现的概率，简单讲就是给定一段话，通过神经网络的学习之后，可以通过前面的词和句子去预测下一个词。1、模型原理 BiLSTM是Bi-directional L...
2019-11-08 22:11:05
1479
原创 pytorch自然语言处理基础模型之五：TextLSTM
1、模型原理 LSTM（long short-term memory）是RNN的一种变体，RNN由于梯度消失的原因只能有短期记忆，LSTM网络通过精妙的门控制将短期记忆与长期记忆结合起来，并且一定程度上解决了梯度消失的问题。 所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 R...
2019-08-26 22:26:36
855
2
原创 pytorch自然语言处理基础模型之四：TextRNN
1、模型原理 RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面...
2019-08-26 17:16:06
679
原创 pytorch自然语言处理基础模型之三：TextCNN
1、模型原理 TextCNN简介是CNN的一种变形，CNN(2011)主要运用于图片分类，Yoon Kim在论文《Convolutional Neural Networks for Sentence Classification》中提出了TextCNN。将卷积神经网络CNN应用到文本分类任务，利用多个不同size的kernel来提取句子中的关键...
2019-08-20 11:17:43
701
2
原创 pytorch加载自定义数据集
我们在学习Pytorch时，所使用的数据集基本上都为官方提供的处理好的，调用torchtext中的相应函数即可实现对数据的处理。那么当我们需要加载自己的数据集时该怎么办呢，本文将以txt文件为例讲解一下如何加载。我们的txt文件包含852471行，每一行如图所示为一句话我们将使用torch.utils.data中包含的相关类，将该文件分割成训练集和验证集，并生成迭代器。1、导入相关类im...
2019-08-15 10:23:24
1079
原创 pytorch加载部分模型和参数
有时候任务需要，想从一个训练好的网络里提取部分网络和参数做为自己的网络，本文将教你如何用pytorch实现。首先看一下训练好的网络结构：这是一个seq2seq网络，包含encoder和decoder两部分，每一部分都包含一个embedding层、一个LSTM层和一个Dropout层，decoder网络还有一个Linear层。然后看一下新的网络结构：同样是一个seq2seq的结构，区别是...
2019-08-13 16:43:41
4276
2
原创 pytorch自然语言处理基础模型之二：seq2seq
任务描述：pytorch实现简单seq2seq模型一、什么是Seq2Seq所谓Seq2Seq(Sequence to Sequence), 就是一种能够根据给定的序列，通过特定的方法生成另一个序列的方法。最早由论文《Sequence to Sequence Learning with Neural Networks》等提出，用于解决机器翻译中输入和输出不等长的问题（比如同一句话中英文的长度不相...
2019-08-05 21:59:38
1193
原创 pytorch自然语言处理基础模型之一：NNLM
任务描述：pytorch实现简单的神经网络语言模型NNLM1、数据sentences = [‘i like dog’, ‘i love coffee’, ‘i hate milk’]2、目标当输入[‘i’, ‘like’], [‘i’, ‘love’], [‘i’, ‘hate’]时，分别预测下一个单词为[‘dog’], [‘coffee’], [‘milk’]3、代码导入需要...
2019-07-22 21:19:30
796
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人