- 博客(10)
- 收藏
- 关注
原创 Pytorch实现Seq2Seq模型:以机器翻译为例
本文将使用PyTorch和TorchText构建一个深度学习模型,该模型是《Sequence to Sequence Learning with Neural Networks》这篇论文的Pytorch实现,作者将其应用于机器翻译问题。所有代码亲测可以顺利执行。
2019-08-08 15:26:48 9593 8
原创 pytorch自然语言处理基础模型之七:Seq2Seq
1、模型原理 所谓Seq2Seq(Sequence to Sequence), 就是一种能够根据给定的序列,通过特定的方法生成另一个序列的方法。最基础的Seq2Seq模型包含了三个部分,即Encoder、Decoder以及连接两者的中间状态向量C,Encoder通过学习输入,将其编码成一个固定大小的状态向量c,继而将c传给Decoder,Dec...
2019-11-12 13:54:04 542
原创 pytorch自然语言处理基础模型之六:BiLSTM
上一篇文章我们介绍了LSTM的基本原理,本文我们将构建一个双向LSTM网络去生成一个语言模型。所谓语言模型就是估算一个单词在一个序列中出现的概率,简单讲就是给定一段话,通过神经网络的学习之后,可以通过前面的词和句子去预测下一个词。1、模型原理 BiLSTM是Bi-directional L...
2019-11-08 22:11:05 1507
原创 pytorch自然语言处理基础模型之五:TextLSTM
1、模型原理 LSTM(long short-term memory)是RNN的一种变体,RNN由于梯度消失的原因只能有短期记忆,LSTM网络通过精妙的门控制将短期记忆与长期记忆结合起来,并且一定程度上解决了梯度消失的问题。 所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 R...
2019-08-26 22:26:36 860 2
原创 pytorch自然语言处理基础模型之四:TextRNN
1、模型原理 RNN(Recurrent Neural Network)是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据,摘取百度百科词条:时间序列数据是指在不同时间点上收集到的数据,这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义,当然这里也可以不是时间,比如文字序列,但总归序列数据有一个特点——后面...
2019-08-26 17:16:06 681
原创 pytorch自然语言处理基础模型之三:TextCNN
1、模型原理 TextCNN简介是CNN的一种变形,CNN(2011)主要运用于图片分类,Yoon Kim在论文《Convolutional Neural Networks for Sentence Classification》中提出了TextCNN。将卷积神经网络CNN应用到文本分类任务,利用多个不同size的kernel来提取句子中的关键...
2019-08-20 11:17:43 708 2
原创 pytorch加载自定义数据集
我们在学习Pytorch时,所使用的数据集基本上都为官方提供的处理好的,调用torchtext中的相应函数即可实现对数据的处理。那么当我们需要加载自己的数据集时该怎么办呢,本文将以txt文件为例讲解一下如何加载。我们的txt文件包含852471行,每一行如图所示为一句话我们将使用torch.utils.data中包含的相关类,将该文件分割成训练集和验证集,并生成迭代器。1、导入相关类im...
2019-08-15 10:23:24 1088
原创 pytorch加载部分模型和参数
有时候任务需要,想从一个训练好的网络里提取部分网络和参数做为自己的网络,本文将教你如何用pytorch实现。首先看一下训练好的网络结构:这是一个seq2seq网络,包含encoder和decoder两部分,每一部分都包含一个embedding层、一个LSTM层和一个Dropout层,decoder网络还有一个Linear层。然后看一下新的网络结构:同样是一个seq2seq的结构,区别是...
2019-08-13 16:43:41 4287 2
原创 pytorch自然语言处理基础模型之二:seq2seq
任务描述:pytorch实现简单seq2seq模型一、什么是Seq2Seq所谓Seq2Seq(Sequence to Sequence), 就是一种能够根据给定的序列,通过特定的方法生成另一个序列的方法。最早由论文《Sequence to Sequence Learning with Neural Networks》等提出,用于解决机器翻译中输入和输出不等长的问题(比如同一句话中英文的长度不相...
2019-08-05 21:59:38 1198
原创 pytorch自然语言处理基础模型之一:NNLM
任务描述:pytorch实现简单的神经网络语言模型NNLM1、数据sentences = [‘i like dog’, ‘i love coffee’, ‘i hate milk’]2、目标当输入[‘i’, ‘like’], [‘i’, ‘love’], [‘i’, ‘hate’]时,分别预测下一个单词为[‘dog’], [‘coffee’], [‘milk’]3、代码导入需要...
2019-07-22 21:19:30 807
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人