CS224D:Deep Learning for NLP Note1

keywords: Word Vectors, SVD, Skip-gram. Continuous Bag of Words(CBOW). Negative Sampling.
关键词:词向量,奇异值分解,Skip-gram,CBOW,负抽样

词向量

One-hot vector: Represent every word as an R|V|×1 vector with all 0s and one 1 at the index of that word in the sorted english language
V 为词典大小

• 相似度距离无法计算

SVD

CBOW:从上下文预测中心词

算法

模型

Skip-gram:中心词预测上下文

算法

模型

目标函数

朴素贝叶斯假设:输出词之间相互独立

负抽样

负样本过大,计算复杂
负样本抽样之后,优化目标函数的目的变为:正负样本预测正确的概率均比较大时才是全局最有
D帽为负样本集合