随便看看论文集
明日何其多_
这个作者很懒,什么都没留下…
展开
-
【论文笔记】Aspect-level Sentiment Analysis using AS-Capsules
本文在RNN-Capsule的基础上设计了AS-Capsules模型,用于Aspect-level情感分类。RNN-Capsule的每个胶囊对应不同sentiment category,AS-Capsule的每个胶囊对应不同aspect category。Aspect-level情感分类一般分为两个步骤,首先确定一段文本里有几个aspect,然后再判断每个aspect的情感极性,这样会不可避免地造成错误的叠加。事实上,情感分类和aspect分类是紧密联系的。本文的模型充分考虑到了这一点,通过共享多个模块使原创 2020-05-24 19:18:51 · 1299 阅读 · 0 评论 -
【论文笔记】Sentiment Analysis by Capsules
简介本文设计了一个用于情感分类的新模型RNN-Capsule。虽然这里提到了胶囊,但和胶囊网络没啥关系,只是用到了胶囊的概念(一组神经元)。每个胶囊对应一个情感类别,包含:an attribute(属性):即设定的情感类别。a state(状态):分为“active”和“inactive”。一组胶囊中只有一个(状态概率最大的)为“active”,其他均为“inactive”。three modules(模块):representation module(表示模块)、 probability mo原创 2020-05-21 17:56:42 · 991 阅读 · 1 评论 -
【论文笔记】Distilling the Knowledge in a Neural Network(知识蒸馏)
简介一般来说,优化模型预测效果有两种方法。一是使用更加复杂的模型,二是采用集成策略。这两种方法在实际应用中都会造成很大的计算开销。因此,本文提出了一种叫做知识蒸馏的方法,从大模型中提取知识给小模型,在减少模型复杂度的同时保证预测效果。通常我们认为模型从训练中得到的知识就是神经网络的参数,更确切的说法是从输入向量到输出向量的映射。所以我们训练小模型的目标就是让它学习大模型输入到输出的映射关系。小模型的输入向量就是经过预处理后的数据,输出向量一般就是输出的softmax分布。于是,原来我们需要让模型输出的原创 2020-05-15 22:31:39 · 538 阅读 · 0 评论 -
【论文笔记】Text Classification using Capsules
Introduction本文将胶囊网络应用到文本分类任务中,并根据任务特点对模型做了一些改进,在实验中取得了不错的效果。亮点:用静态路由算法代替动态路由算法。ELU-gate的使用。model模型包含以下四层:input layer:将文本以词向量形式输入到网络中。convolutional layer:提取局部特征,并用一个gated-linear单元保存空间信息。c...原创 2020-05-05 14:37:02 · 699 阅读 · 0 评论 -
【论文笔记】Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models
简单来说就是使用分层的seq2seq模型构造多轮对话,Encoder RNN主要用于对输入句子进行编码,这里跟普通的seq2seq没有什么区别,并且把最后一个时刻的隐层向量认为是输入句子的编码向量,当做下一层RNN的输入向量。中间一层context RNN用来编码整个对话的状态、意图等对话层面的信息,而第一层RNN用来编码一句话的句子层面信息,中间层每个时刻输入的第一层输出的句子表示向量,这样co...原创 2020-04-19 14:53:38 · 828 阅读 · 0 评论