CS224n
清崎教练
这个作者很懒,什么都没留下…
展开
-
CS224n笔记——Subword Model(十二)
系列文章Lecture 1: Introduction and Word Lecture 2: Word Vectors and Word SensesLecture 12: Subword Model目录1. ELMO2. GPT2.1 无监督pretrain2.2 有监督finetune3. BERTvery nice的BERT入门级讲解1. ELMO首先介绍一下ELMo(Embeddings from Language Models)算法,可去观摩原文查看更详细的内容。在之前word.原创 2020-07-03 18:52:02 · 231 阅读 · 0 评论 -
CS224n笔记——Subword Model(十二)
系列文章Lecture 1: Introduction and Word Lecture 2: Word Vectors and Word Senses目录1. word-level Model2. Character-Level Modelsel3. Sub-word model4. FastText embeddings1. word-level Model基于词级的模型,例如Word2Vec,是利用word embedding的方法来得到每一个word的vec,这种方法需要去处理巨大的,.原创 2020-06-30 17:24:23 · 239 阅读 · 1 评论 -
CS224n笔记——Word Vectors and Word Senses(二)
系列文章Lecture 1: Introduction and Word 目录1. 复习word2vec2. 优化3. 基于统计的词向量不足点4. GloVe1. 复习word2vec遍历整个语料库中的每个单词用词向量预测上下文 P(o∣c)=exp(uoTvc)∑wϵVexp(uwTvc)P(o|c)=\frac {exp(u_o^Tv_c)}{\sum_{w\epsilon V}exp(u_w^Tv_c)}P(o∣c)=∑wϵVexp(uwTvc)exp(uoTvc.原创 2020-06-26 12:07:43 · 265 阅读 · 0 评论 -
CS224n笔记——Introduction and Word Vectors(一)
系列文章Lecture 1: Introduction and Word目录1. The course2. Human language and word meaning3. Word2vec introduction1. The course2. Human language and word meaningWordnet:包含同义词集和上义词的同义词词典 Wordnet的问题:缺乏细微之处:同义词只在某些情况下正确词缺乏新含义偏主观需要人力去更新修改不能计算word的相.原创 2020-06-24 01:31:33 · 284 阅读 · 0 评论