Note - Sequence models - NLP and Word Embeddings (deeplearning.ai)

课程链接：序列模型 - 网易云课堂 (163.com)

2.1 Word representation

词的特征化表示

t-SNE 词的可视化表示，将词空间映射到高维空间

2.2 Using word embeddings

双向RNN用于命名实体识别

迁移学习和词嵌入步骤

词嵌入和人脸编码的关系

2.3 Properties of word embeddings

类比推理

使用词向量的推理

相似度衡量：余弦距离、欧氏距离

2.4 Embedding Matrix

2.5 Learning word emeddings

神经语言模型

2.6 Word2Vec

建立上下文和目标词之间的对应关系

skip-gram

 

如何选择上下文?

均匀随机采样：the, a and 等词出现频繁

基于启发式的不均匀采样

2.7 Negative sampling 负采样

判断一个词对是否构成上下文（0/1）

负样本数量k的选取根据样本集大小决定

2.8 GloVe word vectors (Global Vectors)

计算一对词出现的频率

2.9 Sentiment classification

带标签的训练集不够大

many-to-one RNN

2.10 Debiasing word embeddings 词嵌入除偏