NLP
文章平均质量分 76
小杰.
这个作者很懒,什么都没留下…
展开
-
Pretrained-Model-03-ELMO 论文阅读笔记
论文题目:Deep contextualized word representations发表会议:2018-NAACL原创 2020-12-09 20:25:21 · 232 阅读 · 0 评论 -
NLP-07-Deep nmt 学习笔记
标题:Sequence to Sequence Learning with Neural Networks发表期刊:NIPS-20141、背景介绍1.1、机器翻译评价指标:BLUE1.2、seq2seq模型原创 2020-08-28 17:00:19 · 185 阅读 · 0 评论 -
NLP-05-Char Text Cnn 学习笔记
文章标题:Character-level Convolutional Networks for Text Classification发表期刊:NIPS-2015单位:纽约大学作者:原创 2020-08-18 10:34:32 · 310 阅读 · 0 评论 -
NLP-04-TextCNN阅读笔记
标题:Convolutional Neural Networks for Sentence Classification发表期刊:EMNLP2014单位:纽约大学1、网络结构总体来说,网络由一个卷积层、一个最大池化层和一个全连接层组成1.1、正则化1.2、TextCNN应用2、实验结果与分析2.1、词向量的影响上图展示的实验仅采用的词向量不同,分别使用glove和word2vec;均采用静态单通道的模型 实验发现word2v...原创 2020-08-16 18:43:23 · 502 阅读 · 0 评论 -
NLP-03-character embedding(C2W) 阅读笔记
论文题目:Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation发表期刊:2015-EMNLP单位:卡纳基美隆大学1、背景介绍向量的学习对于自然语言处理的应用非常重要,词向量可以在空间上捕获词之间的语法和语义相似性。【背景介绍】 但是词向量机制中的词和词之间是独立的,这种独立性假设是有问题的,词之间形式上的相似性会一定程度造成功能的相似性,尤..原创 2020-08-15 20:24:50 · 1754 阅读 · 0 评论 -
NLP-02-glove 阅读笔记
发表期刊:EMNLP 2014单位:斯坦福大学1.1、文章摘要:当前词向量学习模型能够通过向量的算术计算捕捉词之间细微的语法和语义规律,但是这种规律背后的原理依旧不清楚【介绍当前研究现状及存在问题】 经过仔细的分析,我们发现了一些有助于这种词向量规律的特性,并基于词提出了一种新的对数双线性回归模型,这种模型能够利用全局矩阵分解和局部上下文的优点来学习词向量【分析如何改进】 我们的模型通过只在共现矩阵中的非0位置训练达到高效训练的目的【改进方法】 我们的模型在词对推理任务上得到75%的.原创 2020-08-13 16:33:43 · 276 阅读 · 0 评论 -
NLP-01-word2vec 阅读笔记
发表期刊:EMNLP 2014单位:斯坦福大学1.1、文章摘要:当前词向量学习模型能够通过向量的算术计算捕捉词之间细微的语法和语义规律,但是这种规律背后的原理依旧不清楚【介绍当前研究现状及存在问题】 经过仔细的分析,我们发现了一些有助于这种词向量规律的特性,并基于词提出了一种新的对数双线性回归模型,这种模型能够利用全局矩阵分解和局部上下文的优点来学习词向量【分析如何改进】 我们的模型通过只在共现矩阵中的非0位置训练达到高效训练的目的【改进方法】 我们的模型在词对推理任务上得到75%的.原创 2020-08-13 16:31:03 · 2449 阅读 · 0 评论 -
Pretrained-Model-02-Transformer-XL阅读笔记
文章题目:Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context发表会议及时间:2019-ACL1、背景知识2、相关工作Valilla Transformer 的训练和测试阶段信息流过程训练阶段:测试阶段:训练阶段:将文本分割为多个片段,进行单独的训练,片段之间的信息无交流 测试阶段:首先使用X1~X4(假设片段长度为4)来预测X5,然后使用X2~X5的信...原创 2020-09-02 22:23:23 · 227 阅读 · 0 评论 -
Pretrained-model-01-Transformer论文阅读笔记
论文题目:Attention Is All Y ou Need发表会议:2017-NIPS1、背景知识1.1、翻译效果评价指标BLUE参考博客:https://blog.csdn.net/guolindonggld/article/details/56966200 主要讲解BLUE在nltk中的实现https://blog.csdn.net/jkwwwwwwwwww/article/details/52846728from nltk.trans...原创 2020-08-31 22:56:14 · 691 阅读 · 0 评论 -
NLP10-SGM-论文学习笔记
论文题目:SGM: Sequence Generation Model for Multi-Label Classification发表期刊:2018-Coling Bestpaper多标签分类:The target of the MLC task is to assign multiple labels to each instance in the dataset1、相关工作将多标签分类问题看做是一个链式的二分类问题也采用了序列生成的方式,但没有采用注意力机制,获得的提...原创 2020-08-28 23:44:51 · 892 阅读 · 0 评论