论文阅读
读研初始看论文很费劲,当时的论文总结或者纯翻译,后续看有机会还有没有新的整理~
wenjieh_chen
小渣渣要学习呀。
展开
-
Transformer的原理解析、理解
引言自然语言处理中的Transformer模型真正改变了我们处理文本数据的方式。Transformer是最近自然语言处理发展的幕后推手,包括Google的BERT(Bidirectional Encoder Representations from Transformers),来自Transformer的双向编码器表示。Transformer是为了解决序列传导问题或神经网络机器翻译而设计的,意味着任何需要将输入序列转换为输出序列的任务都可以用,包括语音识别和文本到语音转换等。序列传导。绿色表示输入,原创 2020-08-01 09:52:57 · 5246 阅读 · 0 评论 -
大规模数据的词义消歧的混合词义分类方法——阅读整理总结
介绍:尽管最近的研究证明了神经语言模型的优越性,但是WSD研究的范围仍然是几个单词的意义只能在几个领域中确定。因此,有必要朝着开发一个高度可扩展的过程的方向发展,这个过程可以处理在不同领域中出现的词义(当WSD数据集中的单词数量增加时,必须创建一个新的WSD分类器)。论文的主要贡献:介绍了一个新的大数据集,它是由牛津词典自动构建的,被广泛用作词义的标准来源;大部分的WSD数据集:部分含义;论文的WSD数据集:所有已知含义;没有构建成本;数据质量有保障;所有领域可用。提出了一个新的词义消歧模型,原创 2020-07-29 02:00:51 · 878 阅读 · 0 评论 -
Efficient Estimation of Word Representations in Vector Space——论文阅读
**摘要**论文提出了两种新的模型架构——CBOW, skip-gram,用于从非常大的数据集中计算单词的连续向量表示。在单词相似性任务中测量这些表征的质量,并且将结果与先前表现最佳的基于不同类型的神经网络技术进行比较。我们观察到,在低得多的计算成本下,准确度有了很大的提高。而且,这些向量为测试集提供了最好的性能,用于测量句法和语义词的相似性。**1. 简介:**当前很多自然语言处理系统和技术将单词视为原子单位——单词之间没有相似性的概念,因为它们在词汇表中都被表示为索引。这样做有几个很好的原原创 2020-07-26 15:03:35 · 1210 阅读 · 0 评论 -
ELMo:深度上下文化的单词表示——论文阅读
简介2018年3月份,ELMo出世,该paper是NAACL18 Best Paper。在之前2013年的word2vec及2014年的GloVe的工作中,每个词对应一个vector,对于多义词无能为力。ELMo的工作对于此,提出了一个较好的解决方案。不同于以往的一个词对应一个向量,是固定的。在ELMo世界里,预训练好的模型不再只是向量对应关系,而是一个训练好的模型。使用时,将一句话或一段话输入模型,模型会根据上线文来推断每个词对应的词向量。这样做之后明显的好处之一就是对于多义词,可以结合前后语境对多义词原创 2020-07-20 20:29:20 · 901 阅读 · 0 评论 -
词和短语的分布式表示及其组合性——论文阅读
简介这篇文章是Word2Vec的作者,主要工作:1. 提出skip-gram模型的扩展。如通过对高频词的二次取样(Subsampling)以提高高频词词向量的训练速度(2-10倍)和较低频词的词向量表示的质量;skip-gram模型:学习高质量分布式向量表示的有效方法,可以捕获大量准确的句法和语义关系。2. 提出了简化的噪声对比估计变体(simplified variant of Noise Contrastive Estimation,NCE)——分层softmax(Hierarchical so原创 2020-07-15 21:00:03 · 556 阅读 · 0 评论