![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
TensorFlow
文章平均质量分 89
liuchongee
这个作者很懒,什么都没留下…
展开
-
CNN与句子分类之动态池化方法DCNN--TensorFlow实现篇
本文是paper“A Convolutional Neural Network for Modelling Sentences”基于TensorFlow的实现方法,代码和数据集都可以到我的github上面进行下载。数据集及处理方法本文仿真的是论文的第二个实验,使用的数据集是TREC。该数据集是QA领域用于分类问题类型的。其中问题主要分为6大类别,比如地理位置、人、数学信息等等,这里使用one-hot原创 2017-03-29 16:34:29 · 8379 阅读 · 10 评论 -
CNN在句子相似性建模的应用--tensorflow实现篇2
上节已经介绍了数据预处理部分代码,本节则详细介绍一下模型构建和训练部分。旨在以一个新手的角度出发,详细介绍一下tf中不同类型cnn的使用方法以及其中tensor的shape变化,来感受一下其运行过程的细节。代码可以在我的github上下载模型初始化首先我们介绍一下模型构建部分。这部分代码全部写在model.py文件中。为了方便调用,我们写了一个MPCNN_Layer类来实现整个论文模型的构建。首先是原创 2017-03-21 15:55:55 · 7950 阅读 · 12 评论 -
tensorflow中如何进行可视化和减轻过拟合
TensorFlow可视化界面与过拟合最近因为一些需要所以做了一个关于TensorFlow如何使用tensorboard进行可视化以及如何减轻模型训练过程中的过拟合现象的小demo。这里就直接发出来供大家参考~~本文代码可以前往我的github进行查看。TensorFlow可视化界面–tensorboard介绍tensorflow提供了一个十分强大的功能–tensorboard可视化面板,我想这也是原创 2017-08-15 10:30:29 · 9845 阅读 · 0 评论 -
tensorflow报错:setting an array element with a sequence
最近很多人跟我发私信说会遇到这个问题,其实我之前也遇到过两次,但是感觉当时试了试就解决了,没以为是一个很常见的问题。所以写篇博客来记录一下这个问题,方便以后使用。首先来说这个问题一般会发生在读取数据的时候,也就是把我们Python里面的数据传递给placeholder的时候回报这个错。我之前的解决方法是将要传入的数据全部使用np.array()函数改写。注意这里是全部改写。也就是说如果你要传入的是一原创 2017-09-05 18:28:32 · 63922 阅读 · 1 评论 -
Tracking the World State with Recurrent Entity Networks--阅读笔记和TensorFlow实现
这篇论文是facebook在前段时间ICLR会议上发表的论文,提出了一种Recurrent Entity Network的模型用来对world state进行建模,实时的根据模型的输入对记忆单元进行更新,从而得到对world的一个即时的认识。该模型可以用于机器阅读理解、QA等领域。下面对论文所提出的模型架构进行一个简单的概述:1,论文提出了一种新的动态记忆网络,其使用固定长度的记忆单元来存储世界上的原创 2017-09-12 21:08:32 · 2614 阅读 · 2 评论 -
记忆网络之Key-Value Memory Networks tensorflow实现
记忆网络之Key-Value Memory Networks tensorflow实现前面我们介绍了Key-Value Memory Networks这篇论文,这里我们介绍一下该论文使用tensorflow的实现方法。其实github上面有一个实现方案,但是该方案用于仿真bAbI任务的数据集,与QA任务还有一定的区别,又与之前一篇End-to-End MemNN已经对该数据进行了仿真实现,所以这篇文原创 2017-10-08 21:41:40 · 2935 阅读 · 1 评论 -
记忆网络之Dynamic Memory Networks模型介绍及代码实现
记忆网络之Dynamic Memory Networks今天我们要介绍的论文是“Ask Me Anything: Dynamic Memory Networks for Natural Language Processing”,这篇论文发表于2015年6月,从题目中就可以看得出来,本文所提出的模型在多种任务中均取得了非常优秀的表现,论文一开始说道,NLP中很多任务都可以归结为QA问题,所以本文...原创 2017-10-11 17:14:26 · 14168 阅读 · 8 评论 -
tensorflow中RNNcell源码分析以及自定义RNNCell的方法
我们在仿真一些论文的时候经常会遇到一些模型,对RNN或者LSTM进行了少许的修改,或者自己定义了一种RNN的结构等情况,比如前面介绍的几篇memory networks的论文,往往都需要按照自己定义的方法来构造RNN网络。所以本篇博客就主要总结一下RNNcell的用法以及如何按照自己的需求自定义RNNCell。tf中RNNCell的用法介绍我们直接从源码的层面来看一看tf是如何实现RNNCell定义原创 2017-10-31 16:44:16 · 10743 阅读 · 3 评论 -
记忆网络之Hierarchical Memory Networks
记忆网络之Hierarchical Memory Networks这是Bengio团队在2017年发表在ICLR上面的论文“hierarchical Memory Networks”,这篇论文的主要思想是使用分层结构的Memory,目的是在维持准确度的基础上实现训练速度的提升。因为当需要的记忆量很大时,对所有的记忆进行Attention操作,必然会及其浪费时间,而通过本文提出的Hierarchica原创 2017-10-14 16:37:08 · 2019 阅读 · 0 评论 -
从头实现一个深度学习对话系统--tensorflow Seq-to-Seq API介绍和源码分析
上一篇文章中我们已经分析了各种seq2seq模型,从理论的角度上对他们有了一定的了解和认识,那么接下来我们就结合tensorflow代码来看一下这些模型在tf中是如何实现的,相信有了对代码的深层次理解,会在我们之后构建对话系统模型的时候有很大的帮助。tensorflow版本升级之后把之前的tf.nn.seq2seq的代码迁移到了tf.contrib.legacy_seq2seq下面,其实这部分API原创 2017-12-20 19:32:45 · 6709 阅读 · 1 评论 -
从头实现一个深度学习的对话系统--1,论文简介
上篇文章我们介绍了DRL用于对话系统的应用,看完论文我们会发现,其是在一个Seq-to-Seq模型的基础上进行重新训练进而得到效果的提升,那么自然我们会想到如何使用Seq-to-Seq模型构造基础的对话系统呢,接下来我会使用几篇文章来一步步介绍使用Seq-to-Seq构造对话系统过程中所用到的知识和代码。首先让我们从提出Seq-to-Seq模型的论文说起:本文主要介绍下面几篇Seq-to-Seq刚被原创 2017-12-15 09:43:42 · 5063 阅读 · 1 评论 -
从头实现一个深度学习的对话系统--tf.contrib.seq2seq API介绍
这篇文章就简单从源码的角度上分析一下tf.contrib.seq2seq下提供的API,首先来讲这个文件夹下面的几个文件和函数上篇文章中都已经提到而且介绍了他们之间的关系和如何使用,如果对源码不感兴趣就不用看下去了~~BasicDecoder和dynamic_decode为了简单起见,从decode的入口dynamic_deocde函数开始分析: dynamic_deco原创 2018-01-12 11:00:17 · 7799 阅读 · 4 评论 -
从头实现深度学习的对话系统--简单chatbot代码实现
从头实现深度学习的对话系统–简单chatbot代码实现本文的代码都可以到我的github中下载:https://github.com/lc222/seq2seq_chatbot预训练好的模型可以到我的百度云网盘中下载:链接:https://pan.baidu.com/s/1hrNxaSk 密码:d2sn前面几篇文章我们已经介绍了seq2seq模型的理论知识,并且从tensorflo原创 2017-12-29 11:13:27 · 12948 阅读 · 10 评论 -
Tensorflow中使用TFRecords高效读取数据--结合NLP数据实践
之前一篇博客在进行论文仿真的时候用到了TFRecords进行数据的读取操作,但是因为当时比较忙,所以没有进行深入学习。这两天看了一下,决定写篇博客专门结合该代码记录一下TFRecords的相关操作。 首先说一下为什么要使用TFRecords来进行文件的读写,在TF中数据的传入方式主要包含以下几种:供给数据(Feeding): 在TensorFlow程序运行的每一步, 让Python代码来供给数据原创 2017-06-23 20:15:20 · 14491 阅读 · 6 评论 -
Hierarchical Attention Network for Document Classification--tensorflow实现篇
上周我们介绍了Hierarchical Attention Network for Document Classification这篇论文的模型架构,这周抽空用tensorflow实现了一下,接下来主要从代码的角度介绍如何实现用于文本分类的HAN模型。数据集首先介绍一下数据集,这篇论文中使用了几个比较大的数据集,包括IMDB电影评分,yelp餐馆评价等等。选定使用yelp2013之后,一开始找数据集原创 2017-07-02 16:08:08 · 14338 阅读 · 35 评论 -
ABCNN基于注意力的卷积神经网络用于句子建模--模型介绍篇
本文是Wenpeng Yin写的论文“ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs”的阅读笔记。其实该作者之前还发过一篇“Convolution Neural Network for Paraphrase Identification”。ABCNN是基于之前发的这篇论文加入了注意力机制。原创 2017-04-07 19:51:41 · 17046 阅读 · 4 评论 -
论文Convolutional Naural Networks for Sentence Classification--TensorFlow实现篇
其实该论文作者已经将文章代码提供了出来,该代码用的是Theano实现的,但是因为最近看了TensorFlow,所以想着用用练练手,所以本文主要参考Denny Britz的一篇博文 来实现CNN和本篇论文,其代码也上传到了github上。说到Denny Britz,大神就是大神,之前也读过他一篇介绍CNN在NLP领域应用场景和方法的文章,写的很透彻也被很多国内网友翻译和转载,他的博客上有很多好的文章,原创 2017-03-04 20:57:36 · 9210 阅读 · 11 评论 -
CNN在句子相似性建模的应用续--基于attention的多角度CNN模型
今天我们来介绍一下“UMD-TTIC-UW at SemEval-2016 Task 1: Attention-Based Multi-Perspective Convolutional Neural Networks for Textual Similarity Measurement”这篇论文。其实本篇论文和之前所说的Multi-Perspective CNN原理是一样的。只不过做了一些小原创 2017-03-24 14:17:43 · 8819 阅读 · 8 评论 -
TensorFlow调试之一种很笨但行之有效的调试方案
说道tensorflow调试,想必大家都是深受其扰,特别是对于新手而言。主要是因为其分为模型搭建和图运行两个阶段,而我们在使用一般的IDE进行调试时只能调试前半部分,即模型搭建环节。在这一环节中,往往我们所能看到的信息是有限的,比如只能看到Tensor的shape却看不到其具体值等等,但是这样的话我们就不知道模型搭建的是否完全正确(譬如仅shape对应的话,很多时候并不能表征模型正确无误)。 所以原创 2017-03-24 15:37:11 · 12657 阅读 · 7 评论 -
使用TensorFlow实现余弦距离/欧氏距离(Euclidean distance)以及Attention矩阵的计算
最近在使用tensorflow完成句子相似度建模等任务时常常会用到各种距离的计算,而且有很多论文提出了Attention机制,所以这里就介绍一下如何使用tensorflow实现上述各种功能。 这里首先假定我们的输入是两个四维的Tensor,然后我们需要计算的是其中某个维度的距离。比如说我们的输入是batch个句子,句长是sent_len, 每个词被表示成embed_size的词向量。所以我们的输入原创 2017-04-11 11:21:34 · 34396 阅读 · 1 评论 -
字符级卷积神经网络(Char-CNN)实现文本分类--模型介绍与TensorFlow实现
本篇博客主要用于记录“Character-level Convolutional Networks for Text Classification”论文的模型架构和仿真实现方法。这是一篇2016年4月份刚发的文章,在此之前,原作者还发表过一篇“Text Understanding from Scratch”的论文,两篇论文基本上是一样的,不同之处在于后者从写了Introduction部分,然后又补充原创 2017-04-29 14:51:39 · 42170 阅读 · 40 评论 -
TensorFlow调试功能初试
之前在pycharm里面进行tf程序的调试一直会报错,不过前几天通过命令行的方式完成了调试。所以我大概经过了这样一个曲折的经历: 网上下了代码命令行没办法调试(当时不太懂,反正不知道卡在哪一步调试失败)–>在编译器里不能调试–>查资料改各种配置还是不能运行–>偶然在命令行下调试成功== 真的是费尽周折还是以最简单的方式解决战斗。好吧,其实真的调试完之后其实发现很简单。也可能是现在还没有什么实际的原创 2017-04-06 17:42:25 · 11981 阅读 · 0 评论 -
Language Modeling with Gated Convolutional Networks(句子建模之门控CNN)--Tensorflow实现篇
由于本篇论文所实现的任务十分耗时,我的小笔记本根本无法承受其计算量,而且他不像之前实现的模型都有明确的评价指标,所以并未亲自实现。在github上面找到了一个简化版的实现代码,该代码中在数据处理、模型评价等方面做了如下简化:Replace NCE loss with Adaptive Softmax.Remove restricted training on fixed sized senten原创 2017-04-20 10:19:45 · 4980 阅读 · 1 评论 -
CNN在句子相似性建模的应用--tensorflow实现篇1
经过上周不懈的努力,终于把“Multi-Perspective Sentence Similarity Modeling with Convolution Neural Networks”这篇论文用tensorflow大致实现出来了,代码后续回放到我的github上面。踩了很多坑,其实现在也还有一些小的问题没有搞明白和解决,但是也算自己实现了第一个完整的Tensorflow程序,至于剩下的一些小问题原创 2017-03-20 21:38:17 · 6823 阅读 · 9 评论 -
使用TensorFlow实现RNN模型入门篇1
最近在看RNN模型,为简单起见,本篇就以简单的二进制序列作为训练数据,而不实现具体的论文仿真,主要目的是理解RNN的原理和如何在TensorFlow中构造一个简单基础的模型架构。其中代码参考了这篇博客。数据集首先我们看一下实验数据的构造:输入数据X:在时间t,Xt的值有50%的概率为1,50%的概率为0;输出数据Y:在实践t,Yt的值有50%的概率为1,50%的概率为0,除此之外,如果`Xt-3原创 2017-04-27 13:04:05 · 17466 阅读 · 12 评论 -
使用TensorFlow实现RNN模型入门篇2--char-rnn语言建模模型
这是使用tf实现RNN模型的第二篇,上次用很简单的例子实现了一个简单的RNN用于解释其原理,这次我们开始结合NLP尝试构建一个char-rnn的语言建模模型。和CNN的入门篇一样,我们这里也直接来分析一个github上star很多的项目,这样我们不仅可以学习到一些编程的标准规范,还能够开始我们的RNN-NLP之旅。闲话少说,先来介绍一下此次要实现的char-rnn模型。 这个模型是Andr原创 2017-05-08 22:04:24 · 14290 阅读 · 5 评论 -
阅读理解任务中的Attention-over-Attention神经网络模型原理及实现
本文是“Attention-over-Attention Neural Networks for Reading Comprehension”的阅读笔记。这篇论文所处理的任务是阅读理解里面的完形填空问题。其模型架构是建立在“Text Understanding with the Attention Sum Reader Network”这篇论文至上。该论文首先提出了将Attention用于完形填空任原创 2017-06-06 09:24:00 · 9424 阅读 · 1 评论 -
从头实现深度学习的对话系统--新版本tf seq2seq API构建chatbot
上篇文章我们使用tf.contrib.legacy_seq2seq下的API构建了一个简单的chatbot对话系统,但是我们已经说过,这部分代码是1.0版本之前所提供的API,将来会被弃用,而且API接口并不灵活,在实际使用过程中还会存在版本不同导致的各种个样的错误。所以我们有必要学习一下新版本的API,这里先来说一下二者的不同:新版本都是用dynamic_rnn来构造RNN模型,这样就避免原创 2018-01-10 11:43:14 · 8734 阅读 · 10 评论