论文阅读
关注
分享
扫一扫
文章平均质量分 88
Leokb24
这个作者很懒，什么都没留下…
展开
-
文本分类论文阅读笔记
文章目录ClassificationCNNtext-cnn1. 网络结构2. 参数与超参数3. Embedding Layer4. Convolution Layer5. Max-Pooling Layer6. SoftMax分类Layer7. 变种实验Effective Use of Word Order for Text Categorization with Convolutional Ne...原创 2019-02-19 14:18:45 · 1281 阅读 · 0 评论 -
A Decomposable Attention Model for Natural Language Inference阅读笔记
文章目录模型Input representationAttendCompareAggregateIntra-Sentence Attention(Optional)模型模型主要包括四部分: Input representation, Attend, Compare, AggregateInput representation最简单的方式就是直接将词向量作为输入.更复杂的方式见后面optin...原创 2019-04-09 11:44:54 · 1076 阅读 · 0 评论 -
Multi-Task Deep Neural Networks for Natural Language Understanding阅读笔记
MT-DNNIntroduction学习文本的向量空间表达对许多自然语言理解问题都很重要.现在两个比较流行的方法是multi-task learninglanguage model pre-training在这篇论文中, 作者提出结合两种方法的网络–Multi-Task Deep Neural Network(MT-DNN).1. Multi-Task learningmult...原创 2019-04-12 18:01:57 · 1568 阅读 · 0 评论 -
Natural Language Inference Over Interaction Space(DIIN)阅读笔记
文章目录IntroductionModelInteractive Inference Network(IIN)Densely Interactive Inference Network(DIIN)Embedding LayerEncoding LayerInteraction LayerFeature Extraction LayerOutput Layer实验数据参数设置Introductio...原创 2019-04-12 22:02:26 · 1728 阅读 · 0 评论 -
Hierarchical Attention Networks for Document Classification阅读笔记
文章目录模型结构Hierarchical AttentionWord EncoderWord AttentionSentence EncoderSentence AttentionDocument Classification实验数据集参数实验结果模型结构Hierarchical Attentionencoder采用的双向GRUWord EncoderWord Attenti...原创 2019-04-09 23:43:29 · 482 阅读 · 0 评论 -
A Simple but Tough-to-Beat Baseline for Sentence Embeddings阅读笔记
文章目录概述算法实验1. Textual Similarity Tasks2. Supervised Tasks概述一篇17年的论文, 采用无监督的方法.主要思想可以概括为两步:利用词嵌入方法，通过词向量的线性的加权组合对一个句子进行编码利用奇异向量求出最终的句向量。算法实验1. Textual Similarity Tasks数据集all the datasets f...原创 2019-05-08 17:11:26 · 826 阅读 · 0 评论 -
Improving Language Understanding by Generative Pre-Training阅读笔记
文章目录概述Framwork1. 无监督预训练2.有监督的fine-tuning实验实验设置无监督预训练模型规格Fine-tuning细节实验结果概述要说最近NLP最显著的成果, 自然是几乎无人不知, 无人不晓的Bert.但其实在Bert出现几个月之前, OpenAI在《Improving Language Understanding by Generative Pre-Training》就...原创 2019-05-08 18:12:16 · 5500 阅读 · 0 评论 -
Semantic Sentence Matching with Densely-connected Recurrent and Co-attentive Information阅读笔记
文章目录概述模型1. Word Representation Layer2. Densely connected Recurrent Networks3. Densely-connected Co-attentive networks4. Bottleneck component5. Interaction and Prediction Layer实验数据集实现细节实验结果概述目前, 句子匹配...原创 2019-05-08 22:55:38 · 1187 阅读 · 0 评论 -
Multiway Attention Networks for Modeling Sentence Pairs阅读笔记
文章目录概述模型1. Encoding Layer2. Multiway Matching3. Aggregation4. Prediction Layer5. 实现细节实验Datasets实验结果概述对句子对进行建模应用非常广泛, 常见的任务有paraphrase identification, natural language Inference, sentence similarity,...原创 2019-05-09 16:07:32 · 386 阅读 · 0 评论 -
Stochastic Answer Networks for Natural Language Inference阅读笔记
文章目录概述模型Lexicon Encoding layerContextual Encoding layerMemory LayerAnswer module实验实现细节实验结果概述作者提出一种随即回答网络(stochastic answer network)来解决NLI问题.和之前的模型根据输入直接预测结果不同, 该模型维护一个状态并迭代地改进其预测.与单步推理相比, 这种多步推理方法...原创 2019-05-10 14:55:26 · 987 阅读 · 0 评论 -
Deep Learning for Extreme Multi-label Text Classification阅读笔记
文章目录概述模型Dynamic max poolingHidden Bottleneck layer概述Extreme multi-label就是说总的标签量非常多, 成千上万甚至数百万.Extreme multi-label text classification主要难点在于数据稀疏, 并且计算量较大(标签太多).本文作者对textcnn进行改进, 使其在extreme multi-la...原创 2019-05-25 23:37:57 · 3494 阅读 · 0 评论 -
Deep Pyramid Convolutional Neural Networks for Text Categorization阅读笔记
文章目录DPCNN模型结构等长卷积池化固定feature maps(filters)的数量Shortcut connections with pre-activationText region embedding实验数据集及预处理参数设置结果DPCNN与之前CNN模型相比, 加深了很多.通过不断加深网络，可以抽取长距离的文本依赖关系. 参考了ResNet结构.模型结构等长卷积首先交...原创 2019-04-12 15:08:22 · 2472 阅读 · 0 评论 -
A Convolutional Neural Network for Modelling Sentences(DCNN)阅读笔记
Dynamic Convolutional Neural Network一、介绍一篇14年的很经典的论文, 模型采用动态k-max pooling取出得分topk的特征值，能处理不同的句子，不依赖解析树。网络包含两种类型的层：一维的卷积层和动态k-max池化层（Dynamic k-max pooling）。k-max pooling：pooling的结果不是返回一个最大值，而是返回k组最...原创 2019-04-12 13:27:13 · 999 阅读 · 0 评论 -
Glove公式推导
glove公式推导基于词共现矩阵原创 2019-03-18 09:56:19 · 544 阅读 · 2 评论 -
Bilateral Multi-Perspective Matching for Natural Language Sentences阅读笔记及复现
文章目录MethodModel Overview1. Word Representation Layer2. Context Representation Layer3. Matching Layer4. Aggregation Layer5. Prediction LayerMulti-prespective Matching Operation实验实验设置实验结果论文贡献: 提出了一种双向的...原创 2019-04-10 23:55:32 · 1518 阅读 · 0 评论 -
Convolutional Neural Networks for Sentence Classification阅读笔记及复现
文章目录TEXT-CNN1. 网络结构Embedding LayerConvolution LayerMax-Pooling LayerSoftMax分类Layer2. 参数与超参数3. 变种4. 实验代码复现(pytorch)TEXT-CNN一篇比较老的论文了, 但是很经典, 在一些简单的分类任务上效果也还不错.1. 网络结构Embedding Layerword embedd...原创 2019-04-11 19:43:44 · 1470 阅读 · 0 评论 -
Effective Use of Word Order for Text Categorization with Convolutional Neural Networks阅读笔记
文章目录主要思路：不做word embedding，直接输入one-hotseq-CNNbow-CNNExtension: parallel CNN首先将句子序列中每个词onhot表示，然后可以通过不同size的卷积池化层来对其进行特征抽取，得到结果之后再进行concat，然后再接全连接输出层进行输出。...原创 2019-04-11 19:51:19 · 354 阅读 · 0 评论 -
Bag of Tricks for Efficient Text Classification(FastText)阅读笔记
文章目录FastText模型结构Hierarchical softmaxN-gram features实验任务1 Sentiment analysis任务2 Tag prediction总结FastTextfastText的核心思想：将整篇文档的词及n-gram向量叠加平均得到文档向量，然后使用文档向量做softmax多分类。这中间涉及到两个技巧：字符级n-gram特征的引入以及分层Softm...原创 2019-04-11 20:25:14 · 632 阅读 · 0 评论 -
Siamese Recurrent Architectures 阅读笔记及复现
文章目录1. Siamese Recurrent Architectures for Learning Sentence Similarity模型结构Manhattan LSTM Model2. Learning Text Similarity with Siamese Recurrent Networks模型结构Contrastive loss function1. Siamese Recur...原创 2019-04-08 17:32:16 · 1626 阅读 · 2 评论 -
Enhanced LSTM for Natural Language Inference(ESIM)阅读笔记
文章目录模型介绍Hybrid Neural Inference Models1. Input Encoding2. Local Inference Modeling3. Inference Composition模型介绍Hybrid Neural Inference Models可以用BiLSTM编码, 也可以使用Tree-LSTM.这里只介绍基于BiLSTM的结构.1. Inpu...原创 2019-04-08 18:11:06 · 688 阅读 · 0 评论 -
Universal Language Model Fine-tuning for Text Classification(ULMFiT)阅读笔记
UMFiTIntroduction文章贡献点:利用迁移学习的思想, 提出基于微调的通用语言模型(ULMiT)提出discriminative fine-tuning, slanted triangular learning rates, gradual unfreezing等方法Model进入正题, 先来看下模型结构 首先预训练一个语言模型, 论文中采用的是AWD-LS...原创 2019-04-11 22:28:32 · 373 阅读 · 0 评论 -
Recurrent Convolutional Neural Networks for Text Classification阅读笔记
RCNNModelWord Representation Learning使用的双向RNNcl(wi)c_l(w_i)cl(wi)表示词wiw_iwi左边上下文, cr(wi)c_r(w_i)cr(wi)表示右边上下文, 计算方式如下:e(wi−1)e(w_{i-1})e(wi−1)代表第i-1个词的word embedding.每个词的最终表示:再接一...原创 2019-04-12 10:50:32 · 629 阅读 · 0 评论 -
Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification阅读笔记
Att-BLSTMModel模型主要包括五部分:Input layerEmbedding layerLstm layerAttention layerOutput layerWord Embedding没啥好说的…Bidirectional NetworkBi-LSTM结构, 最后输出AttentionAttention部分, 先对LSTM输出做非线性激活...原创 2019-04-12 11:19:37 · 833 阅读 · 0 评论 -
Character-level Convolutional Networks for Text Classification阅读笔记
概述一篇比较经典的文本分类论文, 利用char-CNN结构提取特征, 而没有使用目前非常流行的词向量.作者通过实验证明, 在数据量足够的情况下, 深层CNN网络不需要词语信息, 仅依赖字符信息就可以获得不错效果.只利用字符信息可以有效解决拼写错误和表情符号等问题.模型Key Modules主要模块是一维卷积模块.定义离散输入函数g(x)∈[1,l]→Rg(x)\in[1, l] \...原创 2019-05-29 20:56:18 · 371 阅读 · 0 评论