发发fjfj-CSDN博客

原创 Effective Use ofWord Order for Text Categorization with Convolutional Neural Networks（阅读理解）

一篇公开在2014年的文章，从现在的角度来看这篇文章的话，我们发现作者提出的方法很难算是主流方法，但在当时也有一定的启发意义。这里我们就简单介绍一下这篇文章。本文提出了将CNN直接应用于高维度的文本数据上，为我们提供了两者CNN网络Seq-CNNAs a running toy example, suppose that vocabulary V = {“don’t”, “hate”, “I”, ...

2018-06-27 19:35:20 342

原创 Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems（阅读理解）

大多数的NLG（Natural language generation）系统都使用规则和启发式，并且倾向于在没有人类语言的自然变化的情况下产生单一风格，本文提出了一种基于语义控制的长短时记忆网络(LSTM)的统计NLG。它可以通过使用简单的交叉熵训练准则，在没有任何启发式的情况下，通过联合优化其句子规划和表面实现组件来学习未对齐的数据，并通过随机抽取网络输出来获得高质量的语言变异。本文的突出贡献在...

2018-06-08 20:32:37 1605

原创 Session-based recommendations with recurrent neural networks（阅读理解）

本文是最大贡献在于第一次将RNN使用到Session-based Recommendation中作者将用户的行为作为看做是序列问题，有效的将时间信息添加到网络中，在传统的两类推荐方法中——基于内容的推荐算法和协同过滤推荐算法（model-based、memory-based）在刻画序列数据中存在缺陷：每个item相互独立，不能建模item的连续偏好信息，缺失了整个序列的休息。而本文的方法恰好运用到...

2018-06-08 17:58:07 3104

原创 ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs（阅读理解）

首先这张图片是本文的基础模型，后续的工作以此展开。BCNN是一个没有添加Attention的模型输入层输入句子进行padding后转化成词向量卷积层一个窗口最后只生成一个卷积值，然后再句子长度上进行滑动，得到一个长度为sent_len+ws-1的向量（wide conv）pooling层论文中提到了两种pooling层，一种是最后一个pooling层–all-ap，还有一种是中间卷积层所用的po...

2018-06-08 17:39:44 3839

原创 Multichannel Variable-Size Convolution for Sentence Classification（阅读理解）

它结合了不同版本的预先训练的词嵌入使用可变大小的卷积滤波器进行不同粒度的短语特征提取作者证明了使用预先训练的网络可以达到一个更好的结果多通道输入作者将一小批量的句子整合成相同的长度，而对应通道的未知字将被随机初始化，或者从下一节描述的互学习阶段获得良好的初始化，多通道输入的好处是（1）一个频繁的词在开始时可以有多个表示(而不是只有一个)，这意味着它有更多可用的信息来利用（2）在一些word emb...

2018-05-19 13:46:03 424

转载 SimHash转载

看见别人介绍的很清楚，记录一下https://blog.csdn.net/lihaitao000/article/details/52355704

2018-05-19 13:44:28 263

原创 SeqGAN Sequence Generate Adversarial Nets with Policy Gradient（阅读理解）

SeqGAN在目前是在使用生成对抗网络解决文本序列生成问题的最有影响力的一篇文章，作者针对对抗生成网络难以解决序列生成问题，提出了很多十分有价值的方法问题：（1）在GANs中，Generator是通过随机抽样作为开始，然后根据模型的参数进行确定性的转化。通过generative model G的输出，discriminative model D计算的损失值，根据得到的损失梯度去指导generati...

2018-05-17 15:12:47 809

原创 Convolutional Neural Network Architectures for Matching Natural Language Sentences（阅读理解）

以上图片是作者提供的一个最基本的并且通用的文本分类模型，文章后面介绍的内容是以此结构进行展开的作者提出卷积神经网络模型来匹配两个句子，该模型不仅能够很好地表示句子的层次结构，而且能够逐层构图和合并，而且能够在不同层次捕捉到丰富的匹配模式作者首先基于上一个模型提出了一个用于比较两个句子相似度的模型，这个模型的缺点在于将两个句子encode成句向量之后再用多层感知机进行分类，这种方法就很明显没有体现出...

2018-05-17 11:03:21 2086

原创 Multi-Perspective Sentence Similarity Modeling with Convolutional Neural Networks（阅读理解）

本文重点：不同于其他文章的句子表示，作者提出不同粒度的句子表征，方便后续的相似度计算，使用卷积神经网络为每个句子建模，该网络提取多个粒度级别的特征并使用多种类型的池化操作作者在相似度计算的过程中采用了不同的相似度计算方法来比较句子表示，针对句子表征后的局部进行相似度计算句子表征作者的模型基于CNN，提供了两种卷积操作和三种池化操作卷积操作第一种卷积方式相当于是n-gram特征的抽取第二种卷积方式，...

2018-05-17 10:50:23 663

原创 Convolutional Neural Networks for Sentence Classification（阅读理解）

1原理图2介绍在原文中，用了6个卷积核对原词向量矩阵进行卷积，如上图所示；然后进行池化，对相同卷积核产生的特征图进行连接；再进行softmax输出2个类别。核心点在于可以捕捉局部相关性，具体到文本分类任务中可以利用CNN来提取句子中类似 n-gram 的关键信息。TextCNN详细过程：第一层是图中最左边的7乘5的句子矩阵，每行是词向量，维度=5，这个可以类比为图像中的原始像素点了。然后经过有 f...

2018-05-17 10:36:16 428

原创 Learning to Rank Short Text Pairs with Convolutional Deep Neural Networks（阅读理解）

本文重点：和一般形式的文本处理方式一样，并没有特别大的差异，文章的重点在于提出了一个相似度矩阵计算过程介绍：query和document中的首先通过word embedding处理后获得对应的表示矩阵利用CNN网络进行处理获得各自的feature map，接着pooling后获得query对应的向量表示Xq和document的向量Xd不同于传统的Siamense网络在这一步利用欧式距离或余弦距离直...

2018-05-17 10:30:54 1710

u014029197的博客