自然语言处理
文章平均质量分 79
从流域到海域
此人不懒,但他除了干货什么都没有留下。
展开
-
词袋模型(Bow)
词袋模型(Bag of words, Bow)词袋模型顾名思义,即将文本看作是装满了词的袋子,它不考虑文本中词与词的上下文关系,仅仅考虑所有词的权重,而权重和词频有关系。应用词袋模型时,首先进行分词,分词之后统计每个词在文本中出现的次数,我们就可以得到该文本基于词的特征(词频特征)。如果将各个文本样本的这些词与对应的词频放在一起即向量化,可以组成一个词频矩阵。向量化之后一般会采用TF-IDF进行特征的权重修正,然后再进行标准化,经过一系列操作之后,就可以将数据带入机器学习模型中计算。词袋模型的三个主要原创 2021-11-16 22:09:38 · 908 阅读 · 0 评论 -
Glove 细节介绍
Glove全称Global Vectors for Word Representation,是目前应用范围最广的词向量,但是它基于通用语料训练,所以适合通用语言的自然处理任务,如果你的词库是领域特定词库,使用word2vec或者fasttext自己训练会比较好。Glove模型可以简单概括为:基于通用语料,获得词频统计,学习词语表征)从语料中通过统计方式提取一个共现矩阵XXX,XijX_{ij}Xij表示的是单词i和单词j出现在同一个窗口中的频率(单词i和j出现在同一个上下文中的频率)。模型公式.原创 2020-09-10 19:10:52 · 1249 阅读 · 1 评论 -
Fasttext 总结
Fasttext是继word2vec词向量模型提出之后提出的模型(或者说算法),因为训练速度非常快而比较受工业界关注。Fastext本身也和word2vec模型有很多相似之处,这篇博文将会简单梳理一下fasttext相关知识,关于word2vec那部分就不细讲了。Fasttext涉及两篇论文,也分别代表了它的两个应用方向Bag of Tricks for Efficient Text Classification(201607) - 文本分类Enriching Word Vectors with.原创 2020-09-10 17:04:13 · 439 阅读 · 0 评论 -
nlp中的预训练语言模型总结(单向模型、BERT系列模型、XLNet)
本文转载自JayLou娄杰,知乎专栏《高能NLP》作者,已与原作者取得联系,已获授权。原文地址:https://zhuanlan.zhihu.com/p/76912493https://zhuanlan.zhihu.com/p/115014536本文以QA形式总结对比了nlp中的预训练语言模型,主要包括3大方面、涉及到的模型有:单向特征表示的自回归预训练语言模型,统称为单向模型:ELMO/ULMFiT/SiATL/GPT1.0/GPT2.0;双向特征表示的自编码预训练语言模型,统称为BER.转载 2020-09-09 21:18:03 · 3901 阅读 · 1 评论 -
Transformer及其改进型总结
Transformer是Google提出的用来解决LSTM建模长期依赖乏力的问题全新架构模型,同时其网络架构的设计全部考虑如何并行化,包括self-attenion机制、multi-head self-attention机制、FFW全部都是可以并行计算的,Add&Norm中Add类似预ResNet的shortcut,是为了解决深层模型梯度消失的问题,LayerNorm可以加速计算,这全部都是在为后面的大规模预训练模型做准备。Transformer的提出在NLP中具有里程碑式的意义,现在取得成功的B.原创 2020-09-09 17:38:20 · 4254 阅读 · 1 评论 -
Bertopology: Bert及其改进型总结
BERT自从被提出之后,因为其开源且表现及其优异,工业界开始广泛采用Bert来完成各项NLP的任务。一般来说,Bert都能给我们相当强悍的结果,唯一阻止Bert上线使用的,就是其难以接受的计算复杂度。因此各种模型压缩的方法层出不穷。本篇博客意在总结Bert及其改进型主要的特点,这也是NLP算法面试常见的问题。Bert使用的激活函数是GELU:正态分布下GELU(x),论文给出了近似计算公式:GELU(x)=0.5x(1+tanh[2/π(x+0.044715x3)])GELU(x) = 0.5x(.原创 2020-09-09 16:35:11 · 941 阅读 · 0 评论 -
Key-Value Memory Network
首先,基本的Memorry Network中是使用sentence(passage)来构造memory,然后计算和query的匹配程度,再根据匹配程度计算输出,用于下游任务。而Key-Value Memory Network则是使用(K,V)对来构造memory,这种构造方式是为了解决文档阅读QA任务里面对外部知识(或者称先验知识)的应用。Key-Value Memory的散列,寻址,读取等步骤...原创 2020-04-13 10:32:41 · 1524 阅读 · 0 评论 -
Deep Mask Memory Network with Semantic Dependency and Context Moment for Aspect Level Sentiment Clas
这篇博文是Deep Memory Network在Aspect Based Sentiment方向上的应用的一部分,如果你已经熟知深度记忆网络并且看过其在ABSA的应用,只想看这篇论文,可以跳过直接阅读本文。如果没有,建议阅读完整版。Deep Mask Memory Network with Semantic Dependency and Context Moment for Aspect ...原创 2020-03-11 17:32:51 · 655 阅读 · 0 评论 -
Deep Memory Network在Aspect Based Sentiment方向上的应用
前面的博文Deep Memory Network 深度记忆网络已经非常详细地介绍了该种网络架构,下面我们来研究一下其在基于方面的情感分类的应用。Aspect Based Sentiment是一种细粒度的情感分析问题,一个句子中可能有多个aspect,并且这些aspect的极性可能是不一样的。该任务来自SemEval-14 task 4,要求正确预测所有aspect的极性。基于方面的情感分析,以下...原创 2020-03-11 17:25:26 · 794 阅读 · 0 评论 -
Deep Memory Network 深度记忆网络
RNN解决长期依赖的能力随着文本长度的增加越来越差,attention机制是解决这种问题的一种思路,今天我们再来看另外一种思路,深度记忆网络。Deep Memory Network在QA和Aspect based Sentiment等NLP领域都有过成功的实践,但其提出者本身是以通用模型的形式提出的。Introduce of Memory NetworkMemory Network是一种...原创 2020-03-10 18:42:59 · 2275 阅读 · 0 评论 -
Self Attention 自注意力机制
self attention是提出Transformer的论文《Attention is all you need》中提出的一种新的注意力机制,这篇博文仅聚焦于self attention,不谈transformer的其他机制。Self attention直观上与传统Seq2Seq attention机制的区别在于,它的query和massage两个序列是相等的。广义注意力机制在谈论sel...原创 2020-03-09 18:20:02 · 20106 阅读 · 3 评论 -
Attention基本公式及其变种
本篇博文介绍的Attention,全部是Seq2Sqeq的attention机制的变种,本质上也还是Seq2Seq的attention,区别于Transformer的self attention,下一篇博文会介绍self attention。Attention Mechanism 机制基本公式attention机制本质上是一种加权值,对文本进行加权求和后得到整个文本的中间语义变换函数,关...原创 2020-03-09 15:48:55 · 6075 阅读 · 1 评论 -
IOB Inside-outside-beginning (tagging)
IOB Inside-outside-beginning (tagging)IOB是一种标记技术,IOB foramt是一种在计算机语言学断句中常用的符号(tokens)的形式。B前缀指代一个语句块的开始;I前缀指代在该语句块(chunk)当中;O前缀指代不在该语句块中。B标签只在一个标签要紧跟在另一个同类型标签但没有两个标签之间没有O标志的时候使用。O标签显示该符号不属于任何语句块。参考...原创 2019-10-21 11:28:21 · 936 阅读 · 0 评论 -
KBQA: 知识图谱上的问答系统概述
随着诸如DBPedia和FreeBase等大规模知识图谱的快速发展。知识图谱知识问答在过去几年引起了广泛注意。KBQA: 知识图谱上的问答系统给定自然语言(NL)形式的问题,KBQA的目标是在潜在的知识图谱上自动寻求答案。这提供了一个更加自然更加直观的方式去访问大规模的潜在的知识资源。KBQA的主要挑战在于词汇间隔(lexical gap)。例如同样的问题可以通过多种自然语言形式进行表达...原创 2019-10-18 10:42:01 · 1806 阅读 · 0 评论 -
知识图谱上简单问题的知识问答
简单问题的界定是能通过查找一个事实就可以解答。本文关注baseline方法,即仅使用一般LSTM/GRU,不使用复杂的深度学习方法。所以这是一篇入门博客。知识图谱上的简单问题问答链接(entity linking)**、关系预测(relation prediction)、证据整合(evidence integration) 四个阶段。有一个相关数据集:SIMPLEQUESTIONS。...原创 2019-10-17 13:45:55 · 947 阅读 · 0 评论