nlp综述
Happyeveryyday
这个作者很懒,什么都没留下…
展开
-
Contextual Word Embeddings
**Pre-ELMo and ELMO**详细的过程如图所示:**ULMfit and onward对于模型的处理,UML采用了如下三步:1.首先,在一个非常大的数据集(和任务数据集不相关)上训练一个LM模型。2.接着,使用任务相关的数据集,对模型进行fine-tune(进行训练,在前一个模型的基础上对参数进行微调)3.使用classifier任务继续fine-tune**...原创 2020-07-04 09:49:41 · 188 阅读 · 0 评论 -
Subword Models
1.人类语言的声音语音学是音流,这是属于物理层面的东西词法学:一个n-grams的代替方案在基于单词的模型中存在一些问题:需要处理很大的词汇表,在英语中单词只要变个形态就是另一个单词了,比如说:gooooood bye2.字符级别模型单词嵌入可以由字符嵌入表示:能为不知道的单词生成嵌入相似的拼写有相似的嵌入解决了oov问题传统来说,一个因素或者一个字母不是一个因素单元,但是深度语言模型把它们组合在一起了。单词之下的书写系统大部分深度学习的任务都是从语言的书写形式来处理语言的,这是一个原创 2020-06-30 21:26:18 · 203 阅读 · 0 评论 -
Word Vectors and Word Senses
1 Word2vec**Word2vec模型是简单化的神经网络。既然是神经网络,就有对应的输入层,隐层与输出层。输入就是上边提到的One-Hot Vector,隐层没有激活函数,只是线性的单元。输出层维度跟输入层一样,用的是Softmax回归。word2vec主要包含两个模型:CBOW和skip-gram,以及两种高效训练的方法:负采样(negative sampling)和层序softmax(hierarchical softmax)。CBOW模型的训练输入是某一个特征词的上下文相关的词对应的词向原创 2020-06-28 09:34:08 · 209 阅读 · 0 评论 -
Task1 Introduction and Word vector
Task1 Introduction and Word vectorWord vectors词向量:有时又称为词嵌入或词表示。是一种分布式表达。word2vec 概述word2vec目标函数word2vec预测函数原创 2020-06-24 22:11:04 · 123 阅读 · 0 评论