零基础学nlp
rory0114
这个作者很懒,什么都没留下…
展开
-
零基础学nlp【2】 注意力机制(Neural machine translation by jointly learning to align and translate)
零基础学nlp【2】 注意力机制论文:.Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014论文快读,论文理解原创 2019-03-08 16:49:51 · 1052 阅读 · 0 评论 -
nlp项目实践古诗创作tensorflow ---(4)模型构造
之前的几节已经介绍了数据集的准备以及数据每一个batch的读取,也介绍了实现过程中的一些小错误,这一节来介绍整个模型的构建。seq2seq模型 import tensorflow as tf from tensorflow.contrib import rnn import numpy as np from tensorflo...原创 2019-03-25 19:27:04 · 343 阅读 · 1 评论 -
零基础学nlp【6】 self attention(Attention is all you need)
零基础学nlp【6】 self attention论文:Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in Neural Information Processing Systems. 2017: 5998-6008.1 前言前几节已经介绍了有关attention机制以及其各种...原创 2019-03-13 16:26:33 · 1240 阅读 · 0 评论 -
seq2seq对联生成解读【DAY 3】--seq2seq模型的构造(decoder)
文章目录1 源码2 代码解析2.1 attention_decoder_cell2.2 decoder_projection2.3 train_decoderinfer_decoder1 源码仍然是seq2seq.py程序的一部分,今天主要学习decoder部分。 def attention_decoder_cell(encoder_output, in_seq_len, num_unit...原创 2019-03-18 14:26:54 · 892 阅读 · 0 评论 -
nlp项目实践古诗创作tensorflow ---(3)训练过程中的错误记录
古诗创作这个项目已经进行了一大半了,在实施过程中遇到了各种各样的问题,虽然很难,但是的确加深了我对许多tf函数的理解。tf.contrib.seq2seq.TrainingHelper和tf.contrib.seq2seq.GreedyEmbeddingHelper这两者分别用于训练阶段和最后的测试阶段。两者的主要作用都是为decoder的输入做准备,在训练时使用TrainingHelpe...原创 2019-03-25 11:08:59 · 222 阅读 · 0 评论 -
seq2seq对联生成解读【DAY 2】--seq2seq模型的构造(encoder)
文章目录1 源码2 代码解析2.1 getLayeredCell2.2 bi_encoder1 源码有关encoder的源码如下import tensorflow as tffrom tensorflow.contrib import rnnfrom tensorflow.python.layers import core as layers_core #返回了加了droupou...原创 2019-03-18 12:56:09 · 582 阅读 · 0 评论 -
nlp项目实践古诗创作tensorflow ---(1)数据集准备
之前一直在看前几天找到的seq2seq写对联的源码,发现它的源码好多都不是那么普遍通用的,学习他的或许不如自己写一个,所以模仿他的思路,我打算用古诗词的数据集,做一个可以自己创作古诗的模型。数据搜集使用了这个数据集。预处理由于在之前的论文中提到将长度大致一致的放在一起训练可以提高训练的效率,因此希望通过预处理将这些诗词按字数排序,每一行分为上下句。为了完成这个,结合之前一直在看mapr...原创 2019-03-20 18:52:27 · 2061 阅读 · 0 评论 -
零基础学nlp【5】 hard attention 和 soft attention(Show, attend and tell: Neural image caption generation )
零基础学nlp【5】 hard attention 和 soft attention论文:Xu K, Ba J, Kiros R, et al. Show, attend and tell: Neural image caption generation with visual attention[C]//International conference on machine learning...原创 2019-03-12 14:07:52 · 1261 阅读 · 0 评论 -
零基础学nlp【4】 global attention 和 local attention(Effective approaches to attention-based neural mt)
零基础学nlp【4】 global attention 和 local attention论文:Luong M T, Pham H, Manning C D. Effective approaches to attention-based neural machine translation[J]. arXiv preprint arXiv:1508.04025, 2015.主要内容基于...原创 2019-03-11 20:05:47 · 1370 阅读 · 0 评论 -
seq2seq对联生成解读【DAY 1】--了解每个文件是干什么的
之前看了几篇seq2seq的论文,也自己学了简单的tensorflow,心里觉得应该做一些实际的项目,这样以后找实习有的说,但是发现nlp的每一个项目都不容易,对于文本分类,情感提取等问题,觉得不太有创造力不好玩,本来想做一个聊天机器人,但是网上资料太少,后来看到github上的利用seq2seq写对联觉得这是一个很好的例子,又是中文的符合工作的实际需要,又采用了seq2seq模型,并且从程序到...原创 2019-03-14 20:51:59 · 742 阅读 · 0 评论 -
零基础学nlp【7】 BERT ,transformer应用,预训练模型
零基础学nlp【7】 BERT论文:Devlin J, Chang M W, Lee K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[J]. arXiv preprint arXiv:1810.04805, 2018.1 前言本来今天准备写 convol...原创 2019-03-14 19:04:17 · 903 阅读 · 0 评论 -
零基础学nlp【1】 多任务训练(Multi-task sequence to sequence learning)
零基础学nlp【1】 多任务训练论文: Luong M T, Le Q V, Sutskever I, et al. Multi-task sequence to sequence learning[J]. arXiv preprint arXiv:1511.06114, 2015.](https://arxiv.org/pdf/1511.06114.pdf)整体思路多任务训练如图所示,...原创 2019-03-07 13:02:02 · 1525 阅读 · 0 评论 -
零基础学nlp【3】 RNN encoder-decoder 与seq2seq
零基础学nlp【3】 RNN encoder-decoder 与seq2seq论文:Sutskever I, Vinyals O, Le Q V. Sequence to sequence learning with neural networks[C]//Advances in neural information processing systems. 2014: 3104-3112.C...原创 2019-03-09 15:16:43 · 505 阅读 · 0 评论 -
nlp项目实践古诗创作tensorflow ---(2)reader类编写(获得训练数据batch)
之前介绍了数据集,接下来将数据集生成batch的训练数据,并增加一些符号以及转换成数字。整体介绍对于输入的中文,想要在模型中体现,必然不可能以汉字的形式呈现,而是使用embedding将这个字对应到一个n维的向量中去,而为了能够较快的完成这个对应任务,需要首先把汉字转换成一个序号,由于使用了别人训练好的embedding,因此也要使用别人的字符序号。将一句话转换成序号后,还需要做一些“加...原创 2019-03-22 18:39:51 · 357 阅读 · 0 评论