【笔记】吴恩达 深度学习 序列模型 第二周 知识点总结

第二周主要讲Word Vectors（Word Embeddings），具体的可以看：

cs224n Lecture 2 ：Word2Vec Skip-Gram CBOW Negative Sampling 总结

cs224n Lecture 3: GloVe skipgram cbow lsa 等方法对比 / 词向量评估 /超参数调节 总结

GloVe :Global Vectors 全局向量 模型详解 公式推导

---

Introduction to Word Embeddings 

Word Representation

用one-hot来表示单词，有个问题，就是无法获取单词之间的联系。比如学习算法已经学习到I want a glass of orange juice，但是如果碰到I want a glass of apple ___，就会不知所措。因为one-hot词向量，任意两个词都正交。

为了解决这个问题，就有了Word Embedding。每个词向量不再是非0即1，而是有具体的数值，在后面可以通过学习算法来获得这些词向量。词向量的每一个分量，表示某种特定含义 ，比如这里的第一行表示性别，第二行表示忠诚。但要注意，在实际的词向量中，每一行的意义并没有这么明显和绝对。

如果用t-SNE降到2维进行可视化，可以发现相似的词，聚在了一起。

---

Using Word Embeddings

使用Word Embedding的一个好处就是可以轻松、准确地进行一些NLP任务。

比如在下面的命名实体识别里面，在训练的时候，知道Sally、Johnson是人名，orange是水果，farmer是职业。

当有一个新句子需要识别时，通过词嵌入，就可以