NLP
kasiko
プログラミングが好きです
展开
-
依存句法分析(NLTK--stanford parser)
依存句法分析句法分析(syntactic parsing)是自然语言处理中的关键技术之一,它是对输入的文本句子进行分析以得到句子的句法结构的处理过程。对句法结构进行分析,一方面是语言理解的自身需求,句法分析是语言理解的重要一环,另一方面也为其它自然语言处理任务提供支持。例如句法驱动的统计机器翻译需要对源语言或目标语言(或者同时两种语言)进行句法分析;语义分析通常以句法分析的输出结果作为输入以便获得更多的指示信息。parser和model的下载地址NLTK 中的parse模块已经将斯坦福大学句法分原创 2020-07-27 14:15:05 · 4579 阅读 · 4 评论 -
最通俗易懂的LSTM讲解--NLP
最通俗易懂的LSTM讲解LSTM 是一种带有门控机制的RNN模型,他的提出是为了解决RNN的梯度消失问题。LSTM与RNN不同的地方在于LSTM每次向下传递两个状态, 一个是和RNN一样的隐藏状态 hiddenthidden_{t}hiddent, 一个是此刻的信息 celltcell_{t}celltLSTM 通过遗忘门zfz^{f}zf, 输入门ziz^{i}zi, 输出门zoz^{o}zo,三个门控制信息的流入流出量。这三个门又是怎么得到的呢?拼接t时刻的输入x 和 前一时刻的隐藏状原创 2020-07-13 19:17:42 · 764 阅读 · 0 评论 -
用最少的公式看懂Attention机制原理
AttentionEncoder-Decoder模型enco-deco模型是seq2seq任务的一种实现方式,比如在英翻中任务中,encoder模块用来编码一句英文句子,在最后一个时刻用一个context-vector存储整句话的信息。在decoder部分,通过context-vector解码出每个时刻对应的中文单词。因为这一结构,encoder-decoder有一些固有的弊端:1: context-vector可能不能覆盖输入句子的所有信息,先输入的信息会被后输入的信息覆盖。2: 在deco原创 2020-07-12 22:09:15 · 2650 阅读 · 2 评论 -
Glove词向量核心内容介绍--NLP
Glove尽管现在基于transformer的巨型模型也可以得到词向量。但是在一些基础的计算文本相似的任务中传统的静态词向量依然是非常好用的。Glove就是其中的一个代表。2014年, Empirical Methods in Natural Language Processing (EMNLP)的论文:GloVe: Global Vectors for Word Representation 介绍了这种词向量。正如论文的名字一样,GloVe是一个基于全局词频统计(count-based &原创 2020-07-15 20:43:42 · 896 阅读 · 0 评论