![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
geter_CS
你要把时间用在美好的事情上,不要总是在不值得的事情上浪费。停止自我否定,多去肯定自己;停止反复懊悔,学会坦然放下;停止急于求成,耐心等待自律带来的变化......
展开
-
pytorch 的embeding
pytorch提供word embeding的功能来构建词向量,非稀疏向量。我们来看看他的定义方式:import torch.nn as NNimport torchfrom torch.autograd import Variableembeding=NN.Embedding(6,5)print(embeding.weight)输出:Parameter containing...原创 2018-10-25 21:47:08 · 889 阅读 · 0 评论 -
Effective Approaches to Attention-based Neural Machine Translation论文笔记
这篇文章在NMT(Neural machine translation)上尝试了两种简单且有效的注意力机制:一个可以注意所有单词的全局方法(global approach),和一个只看部分单词的局部方法(local approach).1.全局方法类似(Bahdanau et al.2015),但是结构更简单,2.局部方法可以看为是hard和soft注意力机制(Xu et al.,2015)的...原创 2019-04-22 21:58:19 · 476 阅读 · 0 评论 -
sequence2sequence 论文笔记
sequence2sequence 论文总结问题:对于DNN(Deep neural network )来说,其需要输入和输出的维度是已知的并且是固定的.但是对于序列问题,常常是长度不固定的,因此传统DNN结构是不可用的.在本篇文章中直接使用LSTM网络结构来解决这个问题,基本想法就是使用一个LSTM结构来处理输入,由于输入是序列,处理的时候是按序列时间步来处理的,经过处理后得到一个固定维度的...原创 2019-04-19 16:05:09 · 1130 阅读 · 0 评论 -
SeqGAN论文笔记
原始的GAN提出用于图像生成,其在实数值生成上可以很好的work,但是当目标是生成序列化离散token时就会有限制,主要原因文中说了两点:这主要是因为离散输出的生成模型使得很难将梯度更新从判别模型传递到生成模型。根据Ian Goodfelllow说的,GANs是通过训练生成器来合成数据,然后在合成数据上使用判别器,判别器的输出梯度将后告诉生成器,如何略微改变合成数据使其更加真实。一般来说,只有...原创 2019-05-13 16:49:46 · 1586 阅读 · 0 评论