CS224N笔记——第二讲——word vector representations,word2vec

Natural Language Processing with Deep Learning课程代号CS224N，是斯坦福大学的有关自然语言处理的课程，并且是世界上有关神经网络与自然语言处理方面优秀的课程。找遍了网络也没有找到有中文翻译的，所以我这个英语渣只能强行听英文课程。因此做一些笔记方便以后复习。记录得也比较混乱。

第一讲是一个总体介绍，就没有写了。

---

以下内容来自课程视频以及PPT

---

在处理自然语言的过程中，需要将语言进行表示，无论是什么学派，一般nlp研究者都将单词作为最小的单位。使用one-hot形式，语料越多，维度越大，直到非常大，非常巨大…并且两个one-hot形式是正交的，无法表示有关两个单词的相似度。

因此需要找到其他的办法来表示单词。
其中一个很有用的思想是——可以通过一个单词的上下文了解这个单词的意思，或者有一些其他的不同说法，但是思想都是统一的，就是在表示一个单词的时候，你可以根据其上下文得到很多有用的信息。如下图：

我们按照向量的形式来定义单词的意思。

每个单词一个dense vector, 为了便于预测其上下文出现的其他单词。这些单词也是用向量表示。