![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
yuanwyue
脑子很混乱
展开
-
NLP词向量发展历程
这篇文章记录词向量的发展历程,包括tf-idf、word2vec、GloVe、ELMo、OpenAI GPT以及Bert,只记录个人认为比较核心的内容,以及一些值得思考的边角细节。1、tf-idftf-idf是一种比较传统的文本表示方法,它首先为每个词计算出一个值,再组成向量来表示当前文档。它的大小等于词表数。首先tf是词频,也就是当前词在文档中出现的次数,通常会除以文档总词数来做归一化。id...原创 2020-02-25 17:25:43 · 1213 阅读 · 0 评论 -
pytorch学习之nn.Embedding和nn.EmbeddingBag
从基础的nn.Embedding说起:CLASS torch.nn.Embedding(num_embeddings, embedding_dim,padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None)num_embeddings, embe...原创 2019-11-18 22:36:52 · 10722 阅读 · 3 评论 -
transE(Translating Embedding)详解+简单python实现
表示学习旨在学习一系列低维稠密向量来表征语义信息,而知识表示学习是面向知识库中实体和关系的表示学习。当今大规模知识库(或称知识图谱)的构建为许多NLP任务提供了底层支持,但由于其规模庞大且不完备,如何高效存储和补全知识库成为了一项非常重要的任务,这就依托于知识表示学习。transE算法就是一个非常经典的知识表示学习,用分布式表示(distributed representation)来描述知识库...原创 2019-05-15 18:55:43 · 46490 阅读 · 31 评论 -
Cross-relation Cross-bag Attention for Distantly-supervised Relation Extraction 论文笔记
原文: Cross-relation Cross-bag Attention for Distantly-supervised Relation ExtractionAAAI 2019的一片文章。这篇文章也是针对DS的噪声问题,旨在构造一个noise-robust的训练方法。cross-relation attention句子级的attention策略,即构造bag represen...原创 2019-06-06 14:17:10 · 910 阅读 · 0 评论 -
pytorch中LSTM的细节分析理解
虽然看了一些很好的blog了解了LSTM的内部机制,但对框架中的lstm输入输出和各个参数还是没有一个清晰的认识,今天打算彻底把理论和实现联系起来,再分析一下pytorch中的LSTM实现。先说理论部分。一个非常有名的blog把原理讲得很清楚,推荐参考。总之就是这些公式:简单来说就是,LSTM一共有三个门,输入门,遗忘门,输出门,i,f,oi,f,oi,f,o分别为三个门的程度参数,ggg是...原创 2019-08-20 21:02:21 · 9417 阅读 · 10 评论