课程链接:序列模型 - 网易云课堂 (163.com)
2.1 Word representation
词的特征化表示
t-SNE 词的可视化表示,将词空间映射到高维空间
2.2 Using word embeddings
双向RNN用于命名实体识别
迁移学习和词嵌入步骤
词嵌入和人脸编码的关系
2.3 Properties of word embeddings
类比推理
使用词向量的推理
相似度衡量:余弦距离、欧氏距离
2.4 Embedding Matrix
2.5 Learning word emeddings
神经语言模型
2.6 Word2Vec
建立上下文和目标词之间的对应关系
skip-gram
如何选择上下文?
均匀随机采样:the, a and 等词出现频繁
基于启发式的不均匀采样
2.7 Negative sampling 负采样
判断一个词对是否构成上下文(0/1)
负样本数量k的选取根据样本集大小决定
2.8 GloVe word vectors (Global Vectors)
计算一对词出现的频率
2.9 Sentiment classification
带标签的训练集不够大
many-to-one RNN
2.10 Debiasing word embeddings 词嵌入除偏