2018年05月_发发fjfj

原创 Multichannel Variable-Size Convolution for Sentence Classification（阅读理解）

它结合了不同版本的预先训练的词嵌入使用可变大小的卷积滤波器进行不同粒度的短语特征提取作者证明了使用预先训练的网络可以达到一个更好的结果多通道输入作者将一小批量的句子整合成相同的长度，而对应通道的未知字将被随机初始化，或者从下一节描述的互学习阶段获得良好的初始化，多通道输入的好处是（1）一个频繁的词在开始时可以有多个表示(而不是只有一个)，这意味着它有更多可用的信息来利用（2）在一些word emb...

2018-05-19 13:46:03 434

转载 SimHash转载

看见别人介绍的很清楚，记录一下https://blog.csdn.net/lihaitao000/article/details/52355704

2018-05-19 13:44:28 273

原创 SeqGAN Sequence Generate Adversarial Nets with Policy Gradient（阅读理解）

SeqGAN在目前是在使用生成对抗网络解决文本序列生成问题的最有影响力的一篇文章，作者针对对抗生成网络难以解决序列生成问题，提出了很多十分有价值的方法问题：（1）在GANs中，Generator是通过随机抽样作为开始，然后根据模型的参数进行确定性的转化。通过generative model G的输出，discriminative model D计算的损失值，根据得到的损失梯度去指导generati...

2018-05-17 15:12:47 824

原创 Convolutional Neural Network Architectures for Matching Natural Language Sentences（阅读理解）

以上图片是作者提供的一个最基本的并且通用的文本分类模型，文章后面介绍的内容是以此结构进行展开的作者提出卷积神经网络模型来匹配两个句子，该模型不仅能够很好地表示句子的层次结构，而且能够逐层构图和合并，而且能够在不同层次捕捉到丰富的匹配模式作者首先基于上一个模型提出了一个用于比较两个句子相似度的模型，这个模型的缺点在于将两个句子encode成句向量之后再用多层感知机进行分类，这种方法就很明显没有体现出...

2018-05-17 11:03:21 2098

原创 Multi-Perspective Sentence Similarity Modeling with Convolutional Neural Networks（阅读理解）

本文重点：不同于其他文章的句子表示，作者提出不同粒度的句子表征，方便后续的相似度计算，使用卷积神经网络为每个句子建模，该网络提取多个粒度级别的特征并使用多种类型的池化操作作者在相似度计算的过程中采用了不同的相似度计算方法来比较句子表示，针对句子表征后的局部进行相似度计算句子表征作者的模型基于CNN，提供了两种卷积操作和三种池化操作卷积操作第一种卷积方式相当于是n-gram特征的抽取第二种卷积方式，...

2018-05-17 10:50:23 677

原创 Convolutional Neural Networks for Sentence Classification（阅读理解）

1原理图2介绍在原文中，用了6个卷积核对原词向量矩阵进行卷积，如上图所示；然后进行池化，对相同卷积核产生的特征图进行连接；再进行softmax输出2个类别。核心点在于可以捕捉局部相关性，具体到文本分类任务中可以利用CNN来提取句子中类似 n-gram 的关键信息。TextCNN详细过程：第一层是图中最左边的7乘5的句子矩阵，每行是词向量，维度=5，这个可以类比为图像中的原始像素点了。然后经过有 f...

2018-05-17 10:36:16 440

原创 Learning to Rank Short Text Pairs with Convolutional Deep Neural Networks（阅读理解）

本文重点：和一般形式的文本处理方式一样，并没有特别大的差异，文章的重点在于提出了一个相似度矩阵计算过程介绍：query和document中的首先通过word embedding处理后获得对应的表示矩阵利用CNN网络进行处理获得各自的feature map，接着pooling后获得query对应的向量表示Xq和document的向量Xd不同于传统的Siamense网络在这一步利用欧式距离或余弦距离直...

2018-05-17 10:30:54 1721

u014029197的博客